Mobile-Menu

Monitoring für einen effizienten KI-Einsatz Observability-Lösung für OpenAI GPT

Von Bernhard Lück

Anbieter zum Thema

PresseBox - unn | UNITED NEWS NETWORK GmbH
Insider Research
New Relic Germany GmbH

New Relic führt eine OpenAI-GPT-Observability-Applikation ein. Diese sei die erste MLOps-Lösung überhaupt, die Entwicklern die Überwachung von OpenAI GPT ermöglicht. Unterstützt würden alle aktuellen OpenAI-GPT-Versionen, darunter auch das kürzlich veröffentlichte Sprachmodell GPT-4.

Das Open-AI-Dashboard zeigt u.a. die durchschnittliche Response-Zeit sowie die Kosten der GPT-Nutzung an.
Das Open-AI-Dashboard zeigt u.a. die durchschnittliche Response-Zeit sowie die Kosten der GPT-Nutzung an.
(Bild: New Relic)

Die OpenAI-GPT-Observability-Lösung versetze Entwicklungsteams in die Lage, mit nur zwei Zeilen Code OpenAI-Completion-Queries zu überwachen und gleichzeitig Leistungs- und Kostenmetriken in Echtzeit in einer einzigen Ansicht zu verfolgen, so New Relic. Die neue Integration trage der rasanten Entwicklung von KI-Lösungen wie ChatGPT Rechnung: Sie soll Unternehmen dabei helfen, die Leistung neuer KI-Technologien noch besser für sich nutzbar zu machen, um Geschäftsziele schneller entwickeln und dann auch erreichen zu können. Der Einstieg sei kostenlos und erfordere ein nur minimales Setup. New Relic zufolge sind die folgenden Funktionen und Fakten wichtig:

  • Kostenfreier Zugang: Der Zugang zu New Relic Instant Observability und der sofort einsatzbereiten GPT-Observabilty-Lösung sei der erste seiner Art und stehe ohne zusätzliche Kosten allen Nutzern der vollen New-Relic-Plattform zur Verfügung.
  • Einfache Installation: Mit zwei Zeilen Code könnten Anwender das Monitormodul aus der nr_openai_monitor-Library importieren und automatisch ein Dashboard generieren, das eine Vielzahl von wichtigen GPT-Leistungsmetriken anzeigt.
  • Monitoringkosten: Die Nutzung des Davinci-Modells von OpenAI kann Kosten verursachen. New Relic biete Entwicklungsteams einen Kostenüberblick ihrer GPT-Nutzung in Echtzeit.
  • Verbesserte Leistung: New Relic gibt Entwicklungsteams einen Einblick in die durchschnittliche Response-Zeit und andere wichtige Leistungsmetriken rund um GPT-Anfragen. Ingenieure könnten somit die Nutzung optimieren und bestmögliche Antwortzeiten sicherstellen.
  • Analyse von Prompts und Antworten: New Relic liefert Informationen über die Nutzung, die Geschwindigkeit und die Effektivität von GPT. Sie sollen Entwicklungsteams dabei helfen, bessere Ergebnisse mit ihren ML-Modellen zu erzielen.

Weitere Informationen zur Einrichtung von New Relic MLOps oder zur Integration von GPT-Anwendungen in die Observability-Infrastruktur liefert Dan Holloran, Product Marketing Manager bei New Relic, in einem Blog-Beitrag.

(ID:49309187)

Jetzt Newsletter abonnieren

Täglich die wichtigsten Infos zu Softwareentwicklung und DevOps

Mit Klick auf „Newsletter abonnieren“ erkläre ich mich mit der Verarbeitung und Nutzung meiner Daten gemäß Einwilligungserklärung (bitte aufklappen für Details) einverstanden und akzeptiere die Nutzungsbedingungen. Weitere Informationen finde ich in unserer Datenschutzerklärung.

Aufklappen für Details zu Ihrer Einwilligung

Weiterführende Inhalte