Data Artisans stellt Streaming Ledger vor Problem konsistenter Echtzeit-Datenströme gelöst

Das an das Apache-Flink-Projekt angelehnte Unternehmen data Artisans stellt auf der „FlinkForward“-Konferenz aktuell die „Streaming Ledger“-Technologie vor. Diese kommt in der River-Edition der data Artisans Platform zum Einsatz.

Anbieter zum Thema

PresseBox - unn | UNITED NEWS NETWORK GmbH

Insider Research

Confluent Germany GmbH

Ab sofort ist die data Artisans Plattform in zwei Versionen verfügbar. Die ursprüngliche „Stream Edition“ beinhaltet den Application Manager, der den Prozess der Durchführung und Aufrechterhaltung von Echtzeit-Streaming-Applikationen rationalisiert. Die neue River-Edition umfasst zusätzlich die Funktionen von Streaming Ledger.

Mit Streaming Ledger hat data Artisans eine Technologie erarbeitet, die eine gravierende Hürde in der Datenstromverarbeitung beseitigen soll: Mehrzeilige und mehrstufige Cross-Stream-Transaktionen. Ziel war es, verteilte serialisierbare Transaktionen aus mehreren Datenströmen gleichzeitig durchzuführen – und zwar über gemeinsame Tabellen und mehrere Zeilen pro Tabelle hinweg.

Die Idee basiert auf dem ACID- (Atomicity, Consistency, Isolation, Durability) oder auch AKID-Prinzip, das bei Transaktionen in relationalen Datenbankmanagementsystemen (DBMS) gewünscht ist. Dabei modifiziert jede Transaktion alle Tabellen einer relationalen Datenbank vollständig isoliert gegen gleichzeitige Änderungen, um eine vollständige Datenkonsistenz zu gewährleisten.

Durch die ACID-Semantik soll Streaming Ledger eine völlig neue Klasse von Datenstrom-Anwendungen ermöglichen. Die zugehörige Programmierschnittstelle (API) – einschließlich einer seriellen Runtime für die lokale Entwicklung – wurde als Open-Source-Projekt auf GitHub veröffentlicht.

Stephan Ewen, Mitbegründer und CTO von data Artisans, bezeichnet serialisierbare ACID-Transaktionen als „Königsdisziplin des Datenmanagements“. Selbst große etablierte Datenbanken scheiterten daran: „Wir sind sehr stolz darauf, einen Weg gefunden zu haben, dieses Problem für Echtzeit-Datenstreams zu lösen […].“ Die entwickelte Technik sei gleichzeitig ein Beweis für die Leistungsfähigkeit von Apache Flink.

Technische Details zu data Artisans Streaming Ledger finden sich im Whitepaper „Serializable ACID Transactions on Streaming Data“ von data Artisans.

(ID:45478773)