Evals & Review-Loops

Vorschau der Lektion

Die Minimum Viable Eval für jeden Workflow besteht aus fünf Teilen: einem Golden Set aus 20–50 echten Paaren aus Input und idealem Output (gewonnen aus der manuellen Ära des Kundenprozesses), deterministischen Gradern für die Struktur, einem LLM-as-a-Judge für die Qualität (mit schriftlicher Rubrik, vorgegebener 1–5-Bewertung pro Dimension und erforderlichen Belegen direkt aus dem Output), einem Baseline-Score, den jede Änderung vor dem Release schlagen muss, und wöchentlichem Production-Sampling von 5–10 % der Live-Outputs, um stillen Drift abzufangen. Ohne alle fünf hast du nur Vermutungen, kein System. Ein Golden Set ist eine Sammlung von 20–50 echten Paaren aus Input und idealem Output, zusammengetragen aus der Zeit vor dem Einsatz von KI. Echte Inputs schlagen synthetische um Längen. Sie bringen genau die Edge Cases ans Licht, auf die es ankommt: merkwürdige Formatierungen, Fragen abseits des Themas oder unklare Briefings, die echte Nutzer tatsächlich geschickt haben. Betrachte das Golden Set niemals als statisch. Aktualisiere es vierteljährlich mit neuen Fehlermustern, die du beim Production-Sampling entdeckst. Deine Eval sollte mit der Zeit schwerer werden, nicht leichter. Baue Grader in zwei Schichten auf – von der günstigsten zur teuersten. Deterministische Grader kommen zuerst. Sie prüfen die Struktur: Ist der Output valides JSON? Sind alle Pflichtfelder vorhanden? Liegt die Länge im Rahmen? Fehlen verbotene Phrasen? Funktionieren die Links? Lassen sich die Datumsangaben parsen? Diese Checks laufen in Millisekunden und fangen einen riesigen Teil der Fehler ab. LLM-as-a-Judge folgt als zweites. Nutze diesen Ansatz für Qualitätsdimensionen, die menschliches Urteilsvermögen erfordern – Tonalität, Vollständigkeit, Korrektheit. Aber verankere ihn fest: Verfasse eine Rubrik, erzwinge eine Bewertung von 1–5 pro Dimension und verlange konkrete Belege aus dem tatsächlichen Output für jeden vergebenen Score. Ohne klare Verankerung neigen LLM-Judges mit der Zeit zu optimistischen Bewertungen. Die Pflicht zu zitierten Belegen ist das, was sie ehrlich hält.

Wichtige Begriffe in diesem Modul

KI-Eval (Evaluation)

Ein KI-Eval (Evaluation) ist ein wiederholbarer Test, der prüft, ob ein KI-Prompt oder Workflow gute Antworten liefert: Er läuft mit festen Eingaben, und die Ausgaben werden nach vereinbarten Kriterien bewertet. So wird aus „scheint zu passen“ eine Punktzahl, die du vergleichen kannst.

Golden Dataset

Ein Golden Dataset ist eine kleine, feste Sammlung echter Beispiel-Eingaben mit jeweils einer geprüften richtigen Antwort, mit der du ein KI-System testest. Jeden neuen Prompt und jedes neue Modell lässt du dagegen laufen und vergleichst die Ergebnisse mit diesen Antworten.

LLM-as-a-Judge

LLM-as-a-Judge ist eine Methode, bei der ein zweites KI-Modell die Antworten einer KI anhand schriftlicher Kriterien bewertet, statt dass ein Mensch jede Antwort prüft. So sind Qualitätschecks schnell genug für jede Änderung, aber der Bewerter muss selbst geprüft werden.

Häufig gestellte Fragen

Für wen ist „Evals & Review-Loops“?

Dieses Experte-Modul aus Praxishandbuch für KI-Native Operatoren ist für Operator, Gründerinnen und Gründer sowie Growth-Teams, die KI in echter Arbeit einsetzen und Urteilsvermögen auf Produktionsniveau wollen. Es dauert etwa 8 Minuten und endet mit einem Quiz aus 5 Fragen.

Muss ich programmieren können?

Nicht unbedingt. Die Workflows nutzen Operator-Tools wie Claude, n8n und Lovable; manche Übungen fallen leichter, wenn du eine Konfigurationsdatei oder ein Prompt-Template bearbeiten kannst.

Was kommt vor und nach diesem Modul?

Vor „Evals & Review-Loops“ solltest du „Context Engineering“ machen (Modul 16 von Praxishandbuch für KI-Native Operatoren). Danach geht es weiter mit „Guardrails, Berechtigungen & Sicherheitsarchitektur“.

Ähnliche Module

• Previous
  Context Engineering

  Die entscheidende Fähigkeit: Was weiß der Agent im Moment des Handelns.

• Next
  Guardrails, Berechtigungen & Sicherheitsarchitektur

  Sobald ein Agent Geld ausgeben kann, ist Engineering-Disziplin das eigentliche Produkt.

• Gleiches Thema
  RAG: Wann es die richtige Lösung ist

  Retrieval und Generation sind zwei getrennte Systeme. Evaluiere sie separat, sonst debuggst du sie nie.

• Gleiches Thema
  Der Eval-Workflow

  Fehleranalyse → Judges → Regression in CI. Der Skill, den Kunden nicht durch eine Demo bekommen.