Golden Dataset
Definition
Ein Golden Dataset ist eine kleine, feste Sammlung echter Beispiel-Eingaben mit jeweils einer geprüften richtigen Antwort, mit der du ein KI-System testest. Jeden neuen Prompt und jedes neue Modell lässt du dagegen laufen und vergleichst die Ergebnisse mit diesen Antworten.
Von Ronan Liedmeier, Fractional Head of Growth und Kursautor · Veröffentlicht 17. Oktober 2026 · Zuletzt aktualisiert 17. Oktober 2026
Auch genannt: Golden Set, Goldstandard-Datensatz
Es ist die Grundlage jedes Evals: Ohne bekannte richtige Antworten hat eine Bewertung nichts, womit sie vergleichen kann. Eine erste Version kann aus nur zehn Fällen bestehen.
So funktioniert es
Nimm Eingaben aus echter Arbeit, die das Team bisher von Hand erledigt hat, etwa alte Tickets oder Briefings. Behalte dazu das Ergebnis, das ein Mensch freigegeben hat. Nimm bewusst schwierige Fälle auf, zum Beispiel ein Ticket in einer anderen Sprache oder die Eingabe, an der der Workflow letzten Monat gescheitert ist. Jedes Mal, wenn ein Fehler behoben ist, kommt seine Eingabe ins Set. So fällt derselbe Fehler sofort auf, falls er je zurückkommt.
Lass das Set unverändert, solange du Versionen vergleichst. Ändern sich Testfälle und Prompt gleichzeitig, kannst du die beiden Ergebnisse nicht mehr vergleichen.
Beispiel
Die Leiterin des Kundenservice bei einem Anbieter von Abo-Boxen wählt zehn alte E-Mails aus: vier Routinefragen zur Lieferung, drei Erstattungswünsche, zwei Beschwerden auf Englisch und eine, bei der ein Mitarbeiter im letzten Frühjahr fälschlich eine Erstattung zugesagt hat. Neben jede kopiert sie die Antwort, die eine erfahrene Kollegin freigegeben hat. Jede Prompt-Änderung läuft gegen diese zehn, bevor sie live geht, und sie prüft, bei welchen E-Mails sich das Ergebnis geändert hat.
Häufiger Fehler
Das Set mit einfachen Fällen füllen, die das System ohnehin richtig löst. Ein Set, das immer zehn von zehn ergibt, sagt dir über eine Änderung nichts.
In AI Academy lernen
- Grundlegende Evals für deine eigenen WorkflowsFortgeschritten · 14 Min.
- Evals & Review-LoopsExperte · 8 Min.
Verwandte Begriffe
- KI-Eval (Evaluation)
- Ein KI-Eval (Evaluation) ist ein wiederholbarer Test, der prüft, ob ein KI-Prompt oder Workflow gute Antworten liefert: Er läuft mit festen Eingaben, und die Ausgaben werden nach vereinbarten Kriterien bewertet. So wird aus „scheint zu passen“ eine Punktzahl, die du vergleichen kannst.
- Regressionstest für KI
- Ein Regressionstest für KI ist ein fester Satz Testfälle, den du nach jeder Änderung an einem Prompt oder Modell erneut laufen lässt, um zu prüfen, ob noch funktioniert, was vorher funktioniert hat. Er findet Änderungen, die den Durchschnitt heben und dabei einen bestimmten Fall kaputt machen.
- Fehleranalyse
- Fehleranalyse ist das Durchlesen einer Stichprobe echter KI-Ausgaben, bei dem du jede Art von Fehler notierst und die Fehler nach Typ gruppierst, bevor du entscheidest, was du behebst oder misst. So siehst du, welche Probleme in der Praxis auftreten, und deine Tests zielen genau darauf.
- LLM-as-a-Judge
- LLM-as-a-Judge ist eine Methode, bei der ein zweites KI-Modell die Antworten einer KI anhand schriftlicher Kriterien bewertet, statt dass ein Mensch jede Antwort prüft. So sind Qualitätschecks schnell genug für jede Änderung, aber der Bewerter muss selbst geprüft werden.