Der Eval-Workflow

Vorschau der Lektion

Die Reihenfolge ist hier die Methode: Lies zuerst echte Traces, baue einfache Judges für die Fehler, die du tatsächlich beobachtet hast, und binde das Ganze dann in CI ein. 2/5') messen Dinge, die gar nicht widerspiegeln, woran ihr System in der Praxis scheitert. Wenn du dir 20–50 echte Traces eines Ads-MCP-Agenten ansiehst, lassen sich Fehler meist in fünf Kategorien einteilen. Hier sind sie, geordnet nach der Höhe des Schadens, den sie anrichten: T1 · Falsche Tool-Argumente – fehlerhafte Datumsbereiche, falsche Account-IDs, ungültige Enum-Werte. Häufig, aber mit einem Code-Judge leicht und günstig zu erkennen. T2 · Ungetreue Zusammenfassung – der erstellte Report widerspricht den tatsächlich abgerufenen Daten. Mittlere Häufigkeit, erfordert einen semantischen Judge. T3 · Vorzeitiger Abbruch – der Agent beendet den Task, bevor alle relevanten Kampagnen geprüft wurden. Nur auf Trajectory-Ebene sichtbar, nicht in der finalen Antwort. T4 · Verschluckte Fehler – ein Tool hat einen Fehler zurückgegeben, der Durchlauf meldet aber trotzdem Erfolg. In der Praxis selten, aber katastrophal, wenn es passiert. Genau das bleibt deinen Kunden im Gedächtnis: ein ignorierter Fehler in einem Tool, das Budgets verwaltet. T5 · Zu viele Schritte (Over-stepping) – 30 Tool-Aufrufe, wo 6 völlig gereicht hätten. Tritt häufig auf und schlägt direkt auf deine Kosten pro Task durch. Baue deine Judges nach Schweregrad. T4 bekommt einen Judge, bevor T1 einen zweiten erhält.

Wichtige Begriffe in diesem Modul

KI-Eval (Evaluation)

Ein KI-Eval (Evaluation) ist ein wiederholbarer Test, der prüft, ob ein KI-Prompt oder Workflow gute Antworten liefert: Er läuft mit festen Eingaben, und die Ausgaben werden nach vereinbarten Kriterien bewertet. So wird aus „scheint zu passen“ eine Punktzahl, die du vergleichen kannst.

Fehleranalyse

Fehleranalyse ist das Durchlesen einer Stichprobe echter KI-Ausgaben, bei dem du jede Art von Fehler notierst und die Fehler nach Typ gruppierst, bevor du entscheidest, was du behebst oder misst. So siehst du, welche Probleme in der Praxis auftreten, und deine Tests zielen genau darauf.

LLM-as-a-Judge

LLM-as-a-Judge ist eine Methode, bei der ein zweites KI-Modell die Antworten einer KI anhand schriftlicher Kriterien bewertet, statt dass ein Mensch jede Antwort prüft. So sind Qualitätschecks schnell genug für jede Änderung, aber der Bewerter muss selbst geprüft werden.

Häufig gestellte Fragen

Für wen ist „Der Eval-Workflow“?

Dieses Experte-Modul aus AI Delivery Skills & Workflows ist für Operator, Gründerinnen und Gründer sowie Growth-Teams, die KI in echter Arbeit einsetzen und Urteilsvermögen auf Produktionsniveau wollen. Es dauert etwa 12 Minuten und endet mit einem Quiz aus 5 Fragen.

Muss ich programmieren können?

Nicht, um der Lektion zu folgen. Die Konzepte werden in einfacher Sprache erklärt; wenn du selbst KI-Systeme baust, zeigt die Übung, wo sich die Ideen im Code wiederfinden.

Was kommt vor und nach diesem Modul?

Vor „Der Eval-Workflow“ solltest du „RAG: Wann es die richtige Lösung ist“ machen (Modul 2 von AI Delivery Skills & Workflows). Danach geht es weiter mit „Observability & Tracing“.

Ähnliche Module

• Previous
  RAG: Wann es die richtige Lösung ist

  Retrieval und Generation sind zwei getrennte Systeme. Evaluiere sie separat, sonst debuggst du sie nie.

• Next
  Observability & Tracing

  Als Erstes in deiner Build-Reihenfolge, auch wenn es an vierter Stelle steht – Fehleranalyse braucht Traces zum Auswerten.

• Gleiches Thema
  Grundlegende Evals für deine eigenen Workflows

  "Sieht gut aus" ist keine Metrik. Zehn Paradebeispiele schon.

• Gleiches Thema
  Prompt Engineering in Produktionsqualität

  Prompts als versionierte, schemavalidierte Software – nicht nach Bauchgefühl.