4 Gründe für Datenstromverarbeitung und Apache Flink

Event Stream Processing im Jahr 2019

| Redakteur: Stephan Augsten

Die schnelle Verarbeitung großer Datenmengen ist eine der großen Herausforderungen der kommenden Jahre.
Die schnelle Verarbeitung großer Datenmengen ist eine der großen Herausforderungen der kommenden Jahre. (© hanss-stock.adobe.com)

Im Zuge von Big Data werden riesige Mengen an Daten erzeugt, verarbeitet und gespeichert. Event Stream Processing erlaubt die Datenverarbeitung nahezu in Echtzeit und ohne klassische Stapelverarbeitung. Vier Gründe sprechen laut data Artisans für die Technik.

Als ursprünglichen Entwickler der quelloffenen „Stream Processing“-Technologie Apache Flink ist Till Rohrmann, Software Engineer und Co-Founder bei data Artisans, Experte für Datenstromverarbeitung. Die vier folgenden Punkte dürften seiner Ansicht nach im kommenden Jahr eine zentrale Rolle spielen.

1. Echtzeit-Datenverarbeitung: Die Verarbeitung von Daten mit möglichst geringer Latenz ist eine große Herausforderung. Event Stream Processing löst dieses Problem: eine schnelle Verarbeitung von Daten als Stream mit der Möglichkeit, komplexe Berechnungen und Analysen zu integrieren.

2. Konsequentes Wachstum: Im Jahr 2018 avancierte Apache Flink mit einer Steigerung der Akzeptanzrate um 125 Prozent im Vergleich zum Vorjahr zum am schnellsten wachsenden Open-Source-Projekt im Big-Data- und Hadoop-Ökosystem. Dies zeigt eine aktuelle Qubole-Umfrage.

3. Daten auf vielfältige Weise verarbeiten: Apache Flink bietet diverse Integrationen mit anderen Systemen, um Daten einzulesen. Bibliotheken und Programmierschnittstellen erlauben es, Daten angepasst an die Anwendungsdomäne zu verarbeiten. Besonderes Augenmerk sei hier laut Rohrmann auf die Unterstützung von SQL gelegt.

4. Apache Flink in Produktion: Große Produktionsanwendungen nutzen Apache Flink bereits für das Event Stream Processing. Anbieter wie Alibaba, Netflix, Lyft, Uber, DriveTribe und andere diskutieren im Internet offen über die Einführung von Flink.

„Ich kann Unternehmen, die im kommenden Jahr große Projekte in Sachen Real Time Big Data anvisieren, nur raten eine „Event Stream Processing“-Technologie wie Apache Flink fest einzuplanen“, fasst Till Rohrmann abschließend zusammen. Gemeinsam mit der Open-Source-Community werde man auch in Zukunft alles daran setzen, die Technologie noch weiter voranzubringen.

Kommentare werden geladen....

Kommentar zu diesem Artikel

Der Kommentar wird durch einen Redakteur geprüft und in Kürze freigeschaltet.

Anonym mitdiskutieren oder einloggen Anmelden

Avatar
Zur Wahrung unserer Interessen speichern wir zusätzlich zu den o.g. Informationen die IP-Adresse. Dies dient ausschließlich dem Zweck, dass Sie als Urheber des Kommentars identifiziert werden können. Rechtliche Grundlage ist die Wahrung berechtigter Interessen gem. Art 6 Abs 1 lit. f) DSGVO.
  1. Avatar
    Avatar
    Bearbeitet von am
    Bearbeitet von am
    1. Avatar
      Avatar
      Bearbeitet von am
      Bearbeitet von am

Kommentare werden geladen....

Kommentar melden

Melden Sie diesen Kommentar, wenn dieser nicht den Richtlinien entspricht.

Kommentar Freigeben

Der untenstehende Text wird an den Kommentator gesendet, falls dieser eine Email-hinterlegt hat.

Freigabe entfernen

Der untenstehende Text wird an den Kommentator gesendet, falls dieser eine Email-hinterlegt hat.

copyright

Dieser Beitrag ist urheberrechtlich geschützt. Sie wollen ihn für Ihre Zwecke verwenden? Kontaktieren Sie uns über: support.vogel.de/ (ID: 45655240 / Datenbanken)