Fehleranalyse

Sie ist der erste Schritt, wenn du ein Eval aufbaust.

So funktioniert es

Nimm eine Stichprobe aktueller Durchläufe, am besten mit vollständigen Traces. Dann siehst du jeden Schritt bis zur Endantwort. Lies die Durchläufe einzeln und schreib zu allem, was falsch ist, eine kurze, einfache Notiz, etwa „Preis vom Vorjahr genannt“ oder „Tool-Aufruf fehlgeschlagen, Bericht sagt: keine Daten“. Danach sortierst du die Notizen in Gruppen und zählst sie.

Die größten Gruppen werden deine ersten Prüfungen. Jede bekommt einen Test, der nur bestanden oder nicht bestanden kennt: wo möglich als Code, und wo man den Text lesen muss, als Bewertungsraster für einen Judge. Die Zahlen zeigen dir auch, wo die Korrektur hingehört. Manche Gruppen gehen auf einen Prompt zurück, andere auf einen kaputten Datenschritt.

Beispiel

Eine Mitarbeiterin einer Personalberatung betreut einen KI-Schritt, der Lebensläufe mit Stellenprofilen abgleicht. Sie liest 50 geprüfte Lebensläufe aus der letzten Woche und markiert jedes Problem. Die meisten Fehler fallen in eine Gruppe: Das Modell behandelt „3 Jahre Berufserfahrung“ als harte Grenze, obwohl im Profil „rund 3 Jahre“ stand. Eine kleinere Gruppe sind Lebensläufe im Tabellenlayout, die beim Auslesen des Textes durcheinandergeraten. Für die erste Gruppe schreibt sie einen Judge-Check, für die zweite repariert sie die Textextraktion.

Häufiger Fehler

Direkt mit einem Dashboard oder einem fertigen Kennzahlenpaket anfangen. Das Team optimiert dann Kennzahlen, die nie etwas damit zu tun hatten, wie dieses System scheitert.