Qualität und Sicherheit
LLM-as-a-Judge heißt, dass eine KI die Antworten einer anderen KI bewertet: nach festgelegten Kriterien, mit Punkten und einer Begründung.
Wie eine Prüfungskommission mit Bewertungsbogen
Bei einer Prüfung gibt es einen Bewertungsbogen: Was zählt, wie viele Punkte gibt es wofür? So lassen sich viele Arbeiten einheitlich bewerten. Genau das macht eine KI als Richterin, nur in Sekunden und für Tausende Antworten. Aber auch Prüfende haben ihre Eigenheiten.
LLM-as-a-Judge hilft, KI-Lösungen laufend zu prüfen: Beantwortet unser Assistent Kundenfragen richtig? Hält er sich an unsere Regeln? So lassen sich Tausende Antworten bewerten, ohne dass jemand alles lesen muss. Wichtig: Die KI-Richterin braucht klare Kriterien, und ihre Urteile sollten regelmäßig mit menschlichen Bewertungen verglichen werden.
Schau dir an, wie die KI-Richterin zwei Antworten bewertet und wo sie sich täuschen lässt.
Für diese Übung braucht es JavaScript im Browser.
Vereinfachte Darstellung. Die beschriebenen Schwächen sind in der Forschung gut belegt, wie stark sie auftreten, hängt vom Modell ab.
Früher brauchte man für automatische Bewertungen meist eine Musterlösung, mit der eine Antwort Wort für Wort verglichen wurde. Eine KI-Richterin kommt ohne aus und kann auch beurteilen, ob eine Antwort hilfreich, höflich oder vollständig ist, und begründet ihr Urteil. Bekannte Schwächen: Sie bevorzugt oft die Antwort, die zuerst kommt (Position Bias), längere Antworten (Verbosity Bias) und Antworten aus der eigenen Modellfamilie (Self-Enhancement Bias). Gegenmittel sind, beide Reihenfolgen zu bewerten, die Länge ausdrücklich mitzubewerten und eine Richterin aus einer anderen Modellfamilie einzusetzen. Je stärker das Richtermodell, desto näher liegen seine Urteile meist an denen von Menschen.
Der nächste Schritt
In 30 Minuten klären wir, wo dein Team steht und was als Nächstes sinnvoll ist. Ein Erstgespräch, kein Verkaufsgespräch.