Grundlegende Evals für deine eigenen Workflows

Vorschau der Lektion

Die Qualität verändert sich oft schleichend, wenn Prompts, Modelle und Inputs angepasst werden – und ein simples „Sieht ganz gut aus“ bemerkt diesen Drift überhaupt nicht. Ein Golden Set aus zehn echten Eingaben mit nachweislich guten Ergebnissen, bewertet anhand einer einfachen binären Rubrik, verwandelt Qualität von einem vagen Bauchgefühl in eine messbare Zahl, die du nachverfolgen, begründen und gezielt verbessern kannst. KI-gestützte Workflows bleiben selten statisch: Prompts werden optimiert, das zugrunde liegende Modell wird aktualisiert und auch die Art der Inputs verändert sich mit der Zeit. Jeder dieser Faktoren kann die Qualität unbemerkt mindern, ohne sofort Alarm zu schlagen – denn ein subjektiver Eindruck fängt kleine, schrittweise Verschlechterungen nicht zuverlässig ab. Evals sind genau dafür da: Sie ersetzen dieses vage Gefühl durch eine klare Zahl. Ohne sie fliegst du im Blindflug – und merkst womöglich erst durch Kundenfeedback, dass ein Workflow nachgelassen hat. Zu diesem Zeitpunkt weißt du meist weder, welche Änderung schuld war, noch wie lange das Problem schon besteht. Ein Golden Set besteht ganz einfach aus 10 echten Inputs – nicht synthetisch, nicht hypothetisch –, jeweils kombiniert mit dem Output, von dem du bereits weißt, dass er korrekt oder akzeptabel ist. Sie werden zu deinem festen Benchmark: Wann immer du prüfen willst, ob ein Workflow noch funktioniert, lässt du ihn gegen genau dieselben 10 Inputs laufen und vergleichst das Ergebnis. Schon das Erstellen dieses Golden Sets ist extrem wertvoll: Es zwingt dich dazu, ganz konkret zu definieren, wie „richtig“ für deinen Workflow eigentlich aussieht – etwas, das viele noch nie wirklich aufgeschrieben haben, weil sie sich lieber auf ein ungeprüftes Bauchgefühl verlassen.

Wichtige Begriffe in diesem Modul

KI-Eval (Evaluation)

Ein KI-Eval (Evaluation) ist ein wiederholbarer Test, der prüft, ob ein KI-Prompt oder Workflow gute Antworten liefert: Er läuft mit festen Eingaben, und die Ausgaben werden nach vereinbarten Kriterien bewertet. So wird aus „scheint zu passen“ eine Punktzahl, die du vergleichen kannst.

Golden Dataset

Ein Golden Dataset ist eine kleine, feste Sammlung echter Beispiel-Eingaben mit jeweils einer geprüften richtigen Antwort, mit der du ein KI-System testest. Jeden neuen Prompt und jedes neue Modell lässt du dagegen laufen und vergleichst die Ergebnisse mit diesen Antworten.

Regressionstest für KI

Ein Regressionstest für KI ist ein fester Satz Testfälle, den du nach jeder Änderung an einem Prompt oder Modell erneut laufen lässt, um zu prüfen, ob noch funktioniert, was vorher funktioniert hat. Er findet Änderungen, die den Durchschnitt heben und dabei einen bestimmten Fall kaputt machen.

Häufig gestellte Fragen

Für wen ist „Grundlegende Evals für deine eigenen Workflows“?

Dieses Fortgeschritten-Modul aus AI Builder ist für alle, die KI schon täglich nutzen und jetzt ihre ersten echten Workflows und Integrationen bauen wollen. Es dauert etwa 14 Minuten und endet mit einem Quiz aus 4 Fragen.

Muss ich programmieren können?

Klassisches Programmieren brauchst du nicht. Du arbeitest mit No-Code- und Low-Code-Tools und fügst gelegentlich ein kurzes Snippet ein, das die Lektion Zeile für Zeile erklärt.

Was kommt vor und nach diesem Modul?

Vor „Grundlegende Evals für deine eigenen Workflows“ solltest du „Prompt-Bibliotheken & Versionierung“ machen (Modul 5 von AI Builder). Danach geht es weiter mit „Einfache Guardrails“.

Ähnliche Module

• Previous
  Prompt-Bibliotheken & Versionierung

  Deine Prompts sind Assets. Speichere, benenne und entwickle sie auch so.

• Next
  Einfache Guardrails

  Entscheide, was dein Workflow niemals tun darf — und setze es auf drei Ebenen durch.

• Gleiches Thema
  Der Eval-Workflow

  Fehleranalyse → Judges → Regression in CI. Der Skill, den Kunden nicht durch eine Demo bekommen.

• Gleiches Thema
  RAG: Wann es die richtige Lösung ist

  Retrieval und Generation sind zwei getrennte Systeme. Evaluiere sie separat, sonst debuggst du sie nie.