Regressionstest für KI
Definition
Ein Regressionstest für KI ist ein fester Satz Testfälle, den du nach jeder Änderung an einem Prompt oder Modell erneut laufen lässt, um zu prüfen, ob noch funktioniert, was vorher funktioniert hat. Er findet Änderungen, die den Durchschnitt heben und dabei einen bestimmten Fall kaputt machen.
Von Ronan Liedmeier, Fractional Head of Growth und Kursautor · Veröffentlicht 17. Oktober 2026 · Zuletzt aktualisiert 17. Oktober 2026
Auch genannt: Regression Testing, KI-Regressionstest, Regressionssuite
Änderungen kommen aus zwei Richtungen: von deinen eigenen Anpassungen und vom Anbieter, der das zugrunde liegende Modell oder die API aktualisiert oder abschaltet. Beides kann einen Workflow kaputt machen, ohne dass auch nur eine Fehlermeldung erscheint.
So funktioniert es
Leg ein Golden Dataset an und halte fest, welche Fälle heute bestehen. Nach einer Änderung lässt du den ganzen Satz erneut laufen und vergleichst jeden Fall mit seinem letzten Ergebnis.
Jeder behobene Fehler wird zu einem neuen Testfall. So wächst die Suite mit jedem Fehler, den das Team schon gesehen hat. Steht eine Modellabkündigung an, lass die Suite gegen das Nachfolgemodell laufen, bevor du Traffic umstellst. Hängst du den Lauf in deinen Release-Prozess ein, passiert er automatisch, und niemand muss daran denken.
Beispiel
Eine Mitarbeiterin in der Finanzbuchhaltung nutzt einen KI-Schritt, der Rechnungsbeträge und Fälligkeitsdaten aus Lieferanten-PDFs liest. Ein neueres Modell schneidet auf ihren 25 Testrechnungen insgesamt besser ab. Der Vergleich Fall für Fall zeigt aber: Bei zwei Rechnungen eines niederländischen Lieferanten sind jetzt Tag und Monat vertauscht. Sie bleibt beim alten, fest eingestellten Modell, bis eine Prüfung des Datumsformats steht.
Häufiger Fehler
Nur auf die Gesamtquote der bestandenen Fälle schauen. Zehn bestandene Fälle statt neun sehen nach Fortschritt aus. Das gilt auch dann, wenn die Änderung zwei Fälle repariert und genau den wichtigsten kaputt gemacht hat, etwa die Rechnung, die jetzt im falschen Monat gebucht wird.
In AI Academy lernen
- Grundlegende Evals für deine eigenen WorkflowsFortgeschritten · 14 Min.
- Bauen auf dynamischen APIsFortgeschritten · 12 Min.
Verwandte Begriffe
- Golden Dataset
- Ein Golden Dataset ist eine kleine, feste Sammlung echter Beispiel-Eingaben mit jeweils einer geprüften richtigen Antwort, mit der du ein KI-System testest. Jeden neuen Prompt und jedes neue Modell lässt du dagegen laufen und vergleichst die Ergebnisse mit diesen Antworten.
- KI-Eval (Evaluation)
- Ein KI-Eval (Evaluation) ist ein wiederholbarer Test, der prüft, ob ein KI-Prompt oder Workflow gute Antworten liefert: Er läuft mit festen Eingaben, und die Ausgaben werden nach vereinbarten Kriterien bewertet. So wird aus „scheint zu passen“ eine Punktzahl, die du vergleichen kannst.
- Modell-Abkündigung
- Eine Modell-Abkündigung ist die Ankündigung eines KI-Anbieters, ein Modell oder eine API einzustellen, mit einem Datum, ab dem Anfragen nicht mehr funktionieren. Bis dahin läuft das Modell weiter, aber Nutzer sollen auf einen empfohlenen Nachfolger umsteigen.
- Modell-Pinning
- Modell-Pinning ist die Praxis, in deinem Code oder deinen Einstellungen eine exakte, feste Modellversion anzugeben statt eines allgemeinen Namens, den der Anbieter auf ein neueres Modell umstellen kann. So ändert sich das Modell nicht, bevor du das neue getestet hast.