Die SQL-Engine BlazingSQL basiert auf RAPIDS und ermöglicht über GPU-Beschleunigung eine bessere Analytik. Die Open-Source-Lösung wird in Zusammenarbeit mit Nvidia entwickelt.
BlazingSQL soll ETL-Prozesse bis zu 20 Mal schneller abarbeiten als Apache Spark.
(Bild: BlazingSQL)
BlazingSQL ist eine SQL-Engine, die für Nvidia RAPIDS entwickelt wurde. Die SQL-Engine wurde jetzt unter der Apache-2-Lizenz als Open-Source-Projekt freigegeben. Die Entwickler beschreiben in einem Blog-Beitrag, welche Möglichkeiten BlazingSQL bietet. Die SQL-Schnittstelle zu cuDF bietet erweiterte Funktionen. Der Fokus liegt auf großen Datenmengen und Data Science.
Bei RAPIDS von Nvidia handelt es sich um eine Open-Source-Suite mit Softwarebibliotheken für die Ausführung von End-to-End-Pipelines in den Bereichen Datenwissenschaft und Analytik. Die Bibliotheken werden auf Grafikprozessoren (GPUs) ausgeführt. RAPIDS nutzt Apache Arrow und cuDF zum Laden, verarbeiten der Daten. Der Fokus von BlazingSQL liegt darin, den Umgang mit großen Datensätzen zu vereinfachen.
Außerdem soll das Tempo im Bereich der Analyse verbessert werden. BlazingSQL arbeitet mit einer GPU-SQL-Engine, die einfach und gleichzeitig sehr schnell sein soll. Die SQL-Engine soll bereits mit einfachem Code Rohdaten abfragen. Dabei spielt es keine Rolle, wo die Daten gespeichert sind. Auch Cloud-Speicher wie zum Beispiel Amazon S3 werden unterstützt. BlazingSQL unterstützt Data Lakes und kann Daten mit GPU DataFrame (GDF) direkt in den Speicher des Grafikprozessors laden.
Bei GDF handelt es sich um ein Projekt, das die Interoperabilität zwischen GPU-Anwendungen unterstützt. Es definiert eine gemeinsame GPU-Datenschicht im Speicher. Das Projekt ist Teil einer Strategie zwischen dem NVIDIA RAPIDS-Team und BlazingSQL. Zusammen mit BlazingSQL wird Apache Arrow auf GPUs unterstützt und Dask integriert. Die SQL-Engine will die Herausforderungen an Analysepipelines vereinfachen. Ein Beispielcode sieht folgendermaßen aus:
from blazingsql import BlazingContext bc = BlazingContext() # Create Table from CSV bc.create_table('taxi', '/blazingdb/data/taxi.csv', delimiter= ',', names = column_names)# Query result = bc.sql('SELECT count(*) FROM main.taxi GROUP BY year(key)').get() result_gdf = result.columns#Print GDF print(result_gdf)
Aufklappen für Details zu Ihrer Einwilligung
Stand vom 30.10.2020
Es ist für uns eine Selbstverständlichkeit, dass wir verantwortungsvoll mit Ihren personenbezogenen Daten umgehen. Sofern wir personenbezogene Daten von Ihnen erheben, verarbeiten wir diese unter Beachtung der geltenden Datenschutzvorschriften. Detaillierte Informationen finden Sie in unserer Datenschutzerklärung.
Einwilligung in die Verwendung von Daten zu Werbezwecken
Ich bin damit einverstanden, dass die Vogel IT-Medien GmbH, Max-Josef-Metzger-Straße 21, 86157 Augsburg, einschließlich aller mit ihr im Sinne der §§ 15 ff. AktG verbundenen Unternehmen (im weiteren: Vogel Communications Group) meine E-Mail-Adresse für die Zusendung von redaktionellen Newslettern nutzt. Auflistungen der jeweils zugehörigen Unternehmen können hier abgerufen werden.
Der Newsletterinhalt erstreckt sich dabei auf Produkte und Dienstleistungen aller zuvor genannten Unternehmen, darunter beispielsweise Fachzeitschriften und Fachbücher, Veranstaltungen und Messen sowie veranstaltungsbezogene Produkte und Dienstleistungen, Print- und Digital-Mediaangebote und Services wie weitere (redaktionelle) Newsletter, Gewinnspiele, Lead-Kampagnen, Marktforschung im Online- und Offline-Bereich, fachspezifische Webportale und E-Learning-Angebote. Wenn auch meine persönliche Telefonnummer erhoben wurde, darf diese für die Unterbreitung von Angeboten der vorgenannten Produkte und Dienstleistungen der vorgenannten Unternehmen und Marktforschung genutzt werden.
Falls ich im Internet auf Portalen der Vogel Communications Group einschließlich deren mit ihr im Sinne der §§ 15 ff. AktG verbundenen Unternehmen geschützte Inhalte abrufe, muss ich mich mit weiteren Daten für den Zugang zu diesen Inhalten registrieren. Im Gegenzug für diesen gebührenlosen Zugang zu redaktionellen Inhalten dürfen meine Daten im Sinne dieser Einwilligung für die hier genannten Zwecke verwendet werden.
Recht auf Widerruf
Mir ist bewusst, dass ich diese Einwilligung jederzeit für die Zukunft widerrufen kann. Durch meinen Widerruf wird die Rechtmäßigkeit der aufgrund meiner Einwilligung bis zum Widerruf erfolgten Verarbeitung nicht berührt. Um meinen Widerruf zu erklären, kann ich als eine Möglichkeit das unter https://support.vogel.de abrufbare Kontaktformular nutzen. Sofern ich einzelne von mir abonnierte Newsletter nicht mehr erhalten möchte, kann ich darüber hinaus auch den am Ende eines Newsletters eingebundenen Abmeldelink anklicken. Weitere Informationen zu meinem Widerrufsrecht und dessen Ausübung sowie zu den Folgen meines Widerrufs finde ich in der Datenschutzerklärung, Abschnitt Redaktionelle Newsletter.