KI-Eval (Evaluation)

Die Qualität der Ausgaben verschiebt sich, wenn jemand einen Prompt ändert oder der Anbieter das Modell aktualisiert, und oft merkt es erst ein Kunde. Ein Eval fängt diese Verschiebung vorher ab. Außerdem hast du Belege, wenn jemand fragt, ob die KI überhaupt etwas taugt.

So funktioniert es

Du startest mit einem festen Satz Testeingaben, jede mit einer bekannten guten Ausgabe. Das nennt man Golden Dataset. Dann bewerten sogenannte Grader jede Ausgabe. Einfache Prüfungen laufen als Code, etwa ob das JSON gültig ist oder ob ein Preis im erlaubten Bereich liegt. Qualitätsfragen gehen an ein schriftliches Bewertungsraster mit Bestanden oder Nicht bestanden. Bewerten kann ein Mensch oder ein zweites Modell als Judge.

Der erste vollständige Durchlauf setzt die Baseline. Jede spätere Änderung muss sie erreichen oder übertreffen, bevor sie live geht. Wenn du jede Woche eine kleine Stichprobe echter Ausgaben bewertest, fällt eine Verschiebung auch zwischen zwei Releases auf.

Beispiel

Eine Marketing-Ops-Leiterin lässt Produktbeschreibungen für einen Onlineshop von einer KI schreiben. Sie sammelt 20 alte Produkte, deren Beschreibungen das Markenteam freigegeben hat, und schreibt vier Prüfungen mit Bestanden oder Nicht bestanden: richtiges Material genannt, kein erfundener Rabatt, unter 120 Wörtern, Markenton getroffen. Vor einem Modellwechsel lässt sie alle 20 durch die alte und die neue Version laufen und vergleicht, wie viele bestehen.

Häufiger Fehler

Mit einem Dashboard generischer Werte anfangen, etwa „Hilfsbereitschaft 4,2 von 5“. Die Zahl bewegt sich, und keiner kann sagen, warum. Lies zuerst echte Ausgaben, schreib auf, wie sie tatsächlich scheitern, und bau dann Prüfungen für genau diese Fehler.