PresseBox - unn | UNITED NEWS NETWORK GmbH

Babenhausen, 26.01.2023 (PresseBox) - Wachsendes Datenmengen beherrschen: Data-Warehouse-Architekten (DWA) haben seit ihren Anfängen die Aufgabe, ein Data-Warehouse mit unterschiedlich beschafften und formatierten Daten zu erstellen und zu befüllen. Aufgrund des drastischen Anstiegs der Datenmengen stehen dieselben DWAs vor der Herausforderung, ihre Datenintegrations- und Staging-Vorgänge effizienter zu gestalten.

Die Frage, ob die Datentransformation innerhalb oder außerhalb der Zieldatenbank stattfindet, ist aufgrund der damit verbundenen Leistungs-, Komfort- und finanziellen Auswirkungen zu einer kritischen Frage geworden.

ETL: Bei ETL-Vorgängen (Extrahieren, Transformieren, Laden) werden Daten aus verschiedenen Quellen extrahiert, separat transformiert und in eine DW-Datenbank und möglicherweise andere Ziele geladen. Bei ELT werden die Extrakte in eine einzige Staging-Datenbank eingespeist, die auch die Umwandlungen übernimmt.

ETL ist nach wie vor weit verbreitet, da der Markt mit bewährten Anbietern wie Informatica, IBM, Oracle - und IRI mit Voracity, das FACT (Fast Extract), CoSort- oder Hadoop-Transformationen und Bulk Loading in derselben Eclipse-GUI kombiniert - floriert, um Daten zu extrahieren und zu transformieren. Dieser Ansatz verhindert, dass Datenbanken, die für die Speicherung und den Abruf von Daten (Abfrageoptimierung) konzipiert sind, mit dem Overhead einer groß angelegten Datentransformation belastet werden.

ELT: Mit der Entwicklung neuer Datenbanktechnologien und Hardware-Appliances wie Oracle Exadata, die Transformationen "in a box" verarbeiten können, kann ELT jedoch unter bestimmten Umständen eine praktische Lösung sein. Die Isolierung der Staging- (Laden) und der semantischen (Transformieren) Schicht bietet zudem besondere Vorteile.

Sehen Sie in diesem Artikel alle Vorteile und Nachteile, differenziert gelistet nach ETL und ELT.

In der Folge entstehen hybride Architekturen wie ETLT, TELT und sogar TETLT, mit denen versucht wird, die Schwächen der beiden Ansätze zu beheben. Diese scheinen jedoch die ohnehin schon komplizierten Prozesse noch weiter zu verkomplizieren. Es gibt wirklich kein Patentrezept, und viele Datenintegrationsprojekte scheitern an der Last der SLAs, der Kostenüberschreitungen und der Komplexität.

Aus diesen Gründen wurde IRI Voracity entwickelt, um Daten über das CoSort SortCL-Programm in bestehende Dateisysteme oder Hadoop-Fabrics ohne Neucodierung zu integrieren. Voracity ist die einzige ETL-orientierte (aber auch ELT-unterstützende) Plattform, die beide Optionen für externe Datentransformationen bietet. Neben einem hervorragenden Preis-Leistungs-Verhältnis bei der Datenbewegung und -manipulation bietet Voracity:

• erweiterte Datentransformation, Datenqualität, MDM und Reporting
• Slowly Changing Dimensions, Change Data Capture, Datenföderation
• Datenprofilierung, Datenmaskierung, Testdatengenerierung und Metadatenmanagement
• einfache 4GL-Skripte, die Sie oder Eclipse-Assistenten, Diagramme und Dialoge erstellen und verwalten
• nahtlose Ausführung in Hadoop MR2, Spark, Spart Stream Storm und Tez
• Unterstützung für erwin Smart Connectors (Konvertierung von anderen ETL-Tools)
• native MongoDB-Treiber und Verbindungen zu anderen NoSQL-, Hadoop-, Cloud- und Legacy-Quellen
• eingebettete Reporting-, Statistik- und Vorhersagefunktionen, KNIME- und Splunk-Anbindungen sowie Datenfeeds für Analysetools.

Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.

Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.