Der neue AI Evaluator von META wird das Training großer Sprachmodelle verändern. So geht’s

Erst vor zwei Monaten sagte Sam Altman, CEO von OpenAI, dass das Trainieren von KI mit synthetischen Daten (also von KI generierten Daten) zu unzuverlässigen KI-Modellen führen könne.

Der neueste KI-Evaluator von META, der zur gleichen Zeit angekündigt wurde, ist bereits darauf aus, Altmans Behauptungen zu widerlegen.

Der Self-Taught AI Evaluator von Meta soll die Entwicklung großer Sprachmodelle unterstützen, indem er ihnen die Selbstbewertung und Selbstverbesserung ohne menschliches Eingreifen ermöglicht.

Zurzeit erfordert die Verbesserung von LLMs einen ineffizienten Prozess, bei dem qualifiziertes Personal die Antworten auf ihre Richtigkeit prüft, was die Einführungszeit und -kosten erheblich erhöht.

Darüber hinaus erfordert der Prozess vom Menschen generierte Daten, die nur in begrenzter Menge verfügbar sind.

Das neue Modell von META kann nun Daten generieren, mit denen andere KI-Modelle trainiert werden können, womit ein Problem bereits gelöst ist.

Das bedeutet auch, dass kein Mensch mehr benötigt wird, um die Qualität der Daten zu überwachen, die in die KI-Modelle eingespeist werden. Auch darum kümmert sich der KI-Evaluator.

Hauptmerkmale des Self-Taught Evaluator

Das neue Modell weist zwei Hauptmerkmale auf, die die KI-Branche verändern könnten.

Erstens wird eine autonome Lernfunktion zum Generieren von Aufgaben und Bewerten ihrer Leistung verwendet. Dadurch ist es nicht mehr erforderlich, dass qualifizierte Menschen die zur Lösung der jeweiligen Aufgabe verwendeten Daten und gegebenen Antworten überprüfen.

Dadurch werden der mit der Modellentwicklung und -verbesserung verbundene Zeit- und Kostenaufwand verringert und Skalierbarkeit erreicht, eine zentrale Anforderung von Unternehmen, die die Modelle plattformübergreifend und für die Anforderungen unterschiedlicher Benutzer verwenden müssen.

Darüber hinaus verringert diese geringere menschliche Beteiligung auch die potenzielle Verzerrung, die durch Menschen in das Modell eingebracht wird.

Zweitens wird eine „Gedankenketten“-Denktechnik eingesetzt, um das menschliche Denken zu emulieren, indem anstelle einer direkten Antwort eine Reihe von Zwischenschritten zur Lösung komplexer Aufgaben bereitgestellt werden.

Zu diesem Zweck kann das Modell aus früheren erfolgreichen Überlegungen lernen, die zur Lösung ähnlicher Probleme eingesetzt wurden.

Warum ist das eine große Sache?

Die Möglichkeit, synthetische Daten zum Trainieren und Bewerten anderer KI-Modelle zu generieren, ist für Unternehmen, die KI im Kundensupport, in der Mitarbeiterschulung oder in der Rechtsanalyse einsetzen möchten, von großer Bedeutung.

Wird das Modell beispielsweise in einem Chatbot für den Kundensupport verwendet, kann es das Problem in eine Reihe kleinerer Schritte aufteilen, um die möglichen Ursachen des Problems zu ermitteln und den Kunden bei der Suche nach einer Lösung zu unterstützen.

In einem anderen Szenario kann das Modell die internen Regeln und Verfahren eines Unternehmens dekonstruieren, um das Schulungsprogramm für neue Mitarbeiter zu verbessern.

Unternehmen können diese Modelle schnell an ihre eigenen Bedürfnisse anpassen, ohne, wie bislang, zunächst ein eigenes Modell bauen zu müssen.

Risiken der Umsetzung

Die Implementierung solcher KI-Systeme ist mit Risiken und Herausforderungen verbunden, die – wenn sie nicht berücksichtigt werden – in der Zukunft zu noch größeren Problemen führen könnten.

Die Qualität des Seed-Modells wird immer dessen Wirksamkeit und Vertrauenswürdigkeit bei der Verwendung in realen Anwendungen bestimmen: Wenn das Modell fehlerhaft ist, kann es sein, dass auch die Antwort fehlerhaft ist.

Andererseits kann ein Mangel an menschlicher Kontrolle dazu führen, dass falsche Informationen als zuverlässige Eingaben angenommen werden, die zu falschen oder nicht optimalen Antworten führen. Das Modell könnte auch nach Verwendung der falschen Logik eine genaue Antwort liefern.

Während das Modell in der Theorie gut zu funktionieren scheint, wird nur die Zeit zeigen, ob es die von uns erwarteten Aufgaben zuverlässig erfüllen kann.

Angesichts der Geschwindigkeit, mit der sich die KI-Entwicklung vollzieht, müssen wir möglicherweise nicht mehr sehr lange warten.