Big-Data-Tool der Apache Software Foundation Apache Airflow ist Top-Level-Projekt der ASF

Das Big-Data-Tool Apache Airflow ist der sogenannten Inkubationsphase entwachsen und wird von ASF, der Apache Software Foundation, fortan als Top-Level-Projekt geführt. Airflow dient der Verwaltung von Big-Data-Pipelines.

Firmen zum Thema

Confluent Germany GmbH

Vogel IT-Akademie

Die eingangs genannte Aufgabe wird von Apache Airflow mithilfe von Workflow-Automatisierung realisiert. Mittels intelligenter Planung, Datenbank- und Abhängigkeitenmanagement, Fehlerbehandlung und Protokollierung automatisiert Airflow die Ressourcenverwaltung – vom einzelnen Server bis hin zu großen Clustern.

Airflow selbst ist in Python geschrieben, kann aber Tasks mittlerweile in verschiedenen gängigen Programmiersprachen ausführen. Dadurch lasse sich Airflow gut in gängige Architekturen und Projekte wie AWS S3, Docker und Apache Hadoop HDFS integrieren, heißt es in der Begründung zur Ernennung zum Top-Level-Projekt.

Apache Airflow ist nach Auffassung von dessen Vice President, Bolke de Bruin, mittlerweile der De-facto-Standard zur Workflow-Orchestrierung im Big-Data-Umfeld: „Airflow hat sich bei Entwicklern und Datenwissenschaftlern gleichermaßen durchgesetzt, da es sich auf die Konfiguration ‚as-code‘ konzentriert.“

Apache Airflow stammt ursprünglich aus der Feder von Airbnb und wurde 2016 an Apache Incubator übergeben. Laut ASF vertrauen über 200 Unternehmen auf Big-Data-Tool. „Die Tatsache, dass Airflow sowohl von Unternehmen als auch von Start-ups angenommen wird, ermöglicht es uns, es nun zum Top-Level-Projekt zu machen", hieß schrieb de Bruin im Apache-Blog.

(ID:45680540)