KI-Anwendungen verbessern Informatiker identifizieren Schwächen in ML-Algorithmen

Maschinelles Lernen (ML) ist eines der aktuellen KI-Trendthemen. Doch auch einem Computer unterlaufen in den lernenden Algorithmen Fehler. Forscher des Saarland Informatics Campus (SIC) haben nun eine Software entwickelt, die solche Schwachstellen aufspürt.

ML-Algorithmen sind zu erstaunlichen Leistungen fähig. Die dazu nötigen Rechenverfahren basieren auf künstlichen neuronalen Netzen: „Dabei handelt es sich um Netzwerke mathematischer Funktionen, die eine Eingabe anhand bestimmter, anpassbarer Parameter gewichten und daraus einen Output generieren“, erklärt Michael Hedderich, Informatiker und Forscher an der Universität des Saarlandes und der Cornell University. Diese Funktionen („Neuronen“) werden hintereinandergeschaltet und anschließend mithilfe von Daten trainiert. Entsprechende Systeme können danach beispielsweise leistungsfähige Bildanalysen durchführen oder täuschend echt wirkende Dialoge mit Anwendern führen.

Kommentar von Dr. Aleksandra Klofat

Die wichtigsten Typen neuronaler Netze für Deep Learning

Komplexe Fehlersuche

„Einer der modernsten und aktuell viel zitierten Textsynthese-Algorithmen der Welt, GPT-3 von OpenAI, verarbeitet Eingaben anhand von 175 Milliarden Parametern, bevor ein Ergebnis ausgegeben wird. Für einen Menschen ist es fast unmöglich, dies nachzuvollziehen und zu verstehen, wo Fehler passieren“, bringt Jonas Fischer, Postdoktorand an der Harvard University, ein Problem derartiger Systeme auf den Punkt. Bislang wurden die Ausgaben eines ML-Algorithmus auf Fehler analysiert und diese einzeln aufgeliefert. Anschließend mussten Experten in den oft riesigen Datensätzen Muster aufspüren – ein äußerst mühsames Unterfangen.

Die Forscher haben deshalb eine Software entwickelt, die fehlerverdächtige Datensätze mittels Data Mining automatisiert nach bestimmten Merkmalskombinationen durchsucht und diese am Ende als verständliche „Fehlerkategorien“ gebündelt ausgibt. „Anstatt also jeden Fehler einzeln aufzuzählen, ist unsere Software in der Lage, Fehler auf einer abstrakteren Ebene zusammenzufassen und Aussagen zu treffen wie: ,Dein ML-Algorithmus hat Probleme mit Formulierungen, welche die Frage ,Wie viel' beinhalten. Das ist ablesbar an den fehlerhaften Ausgaben in den Fällen X, Y und Z'“, erläutert Hedderich.

Praxiserprobte Software

Die Saarbrücker Informatiker haben ihre Software namens PyPremise sowohl an synthetischen als auch an echten, in der Praxis eingesetzten Datensätzen erprobt. Sie konnten damit zeigen, dass ihr Verfahren skalierbar ist und verlässliche Ergebnisse liefert. „Die damit gewonnenen Informationen über die Schwachpunkte eines Machine-Learning-Algorithmus können die Betreiber dann verwenden, um beispielsweise ihre Trainingsdaten zu überarbeiten und so Fehler im System zu beheben“, so Fischer. Das Tool bezieht sich zunächst nur auf Algorithmen im Bereich der Sprachverarbeitung. Künftig soll es aber auch auf andere Domänen erweitert werden.

(ID:49222004)