LLM-as-a-Judge

Manche Qualitätsfragen lassen sich nicht per Code prüfen, etwa ob eine Antwort auf die Frage des Kunden eingeht oder ob eine Zusammenfassung das wichtigste Risiko weglässt. Ein Bewertungsmodell kann sie für jede Ausgabe eines Testlaufs beantworten.

So funktioniert es

Der Bewerter prüft jede Eingabe und Ausgabe anhand eines Bewertungsschemas und gibt ein Urteil plus Beleg zurück: den genauen Satz aus der Ausgabe, der das Urteil begründet. Eng gefasste Ja-Nein-Fragen („Verspricht die Antwort eine Erstattung, die laut Richtlinie nicht erlaubt ist?“) liefern stabilere Ergebnisse als offene Noten von 1 bis 5.

Zheng et al. (2023) haben die Methode untersucht. GPT-4 als Bewerter stimmte in über 80 % der Fälle mit menschlichen Präferenzen überein, etwa so oft wie Menschen untereinander. Dieselbe Studie beschreibt Verzerrungen des Bewerters, darunter den Positionsbias (die zuerst gezeigte Antwort wird bevorzugt) und den Längenbias (längere Antworten werden bevorzugt).

Beispiel

Ein Content-Team lässt LinkedIn-Posts aus den Fallnotizen seiner Kunden per KI entwerfen. Ein Bewertungsmodell prüft jeden Entwurf auf zwei Fragen: Enthält er eine Zahl, die in den Fallnotizen fehlt? Nennt er den Kunden beim Namen? Zu jedem Fehlschlag liefert es den zitierten Satz mit, und eine Redakteurin bestätigt ihn in Sekunden.

Häufiger Fehler

Einen Bewerter einsetzen, den niemand geprüft hat. Bei einem vagen Prompt wie „bewerte die Qualität“ fallen die Urteile meist zu großzügig aus. Vergleiche seine Urteile alle paar Wochen mit denen eines Menschen. Wo sie abweichen, schärfst du das Bewertungsschema nach. Lockere es nicht, nur damit ein fehlschlagender Test durchgeht.