Observability & Tracing

Vorschau der Lektion

Traces verraten dir das Warum; Dashboards zeigen dir nur das Dass. Ein Dashboard zeigt dir vielleicht, dass sich die p95-Latenz verdoppelt hat – aber erst der Trace deckt auf, dass der Agent 12 Retrieval-Aufrufe pro Durchlauf macht, weil durch eine kleine Prompt-Änderung klammheimlich die Anweisung „maximal zweimal suchen“ gelöscht wurde. Wenn du eine Stunde Zeit hast: Lies fünf Traces. Starre nicht auf Diagramme. Kostentracking gehört auf Trace-Ebene – alles andere ist Fiktion. Aggregierte Gesamtausgaben verschleiern das eine pathologische Muster, das das 40-fache des Medians kostet. Erfasse die Kosten pro Trace, richte Alerts für Ausreißer ein und berichte deinen Kunden die Kosten pro Aufgabe. 31' ist ein Satz, der Deals abschließt. „Wir haben letzten Monat 200 $ ausgegeben“ tut das nicht. Latenz-Budgets pro Span-Typ – Retrieval unter 500 ms, Modell-Aufrufe unter 8 s, gesamter Durchlauf unter 90 s – verwandeln ein vages „es fühlt sich langsam an“ in einen überprüfbaren Fakt, den du in eine PR-Beschreibung packen kannst. Drift-Erkennung braucht keine ausgefallene Plattform. Nimm einen festen Ausschnitt deines Golden-Eval-Sets und lass ihn nach Zeitplan laufen – wöchentlich reicht meist völlig aus. Visualisiere die Pass-Rates deiner Judges über die Zeit. Provider aktualisieren Modelle unter demselben Namen, ohne es anzukündigen. Dein Korpus verändert sich. Das Nutzerverhalten wandelt sich. Keines dieser Ereignisse fällt bei einem einzelnen Deploy auf, aber ein wöchentlicher Probe-Run fängt den schleichenden Verfall ab, bevor ein Kunde ihn bemerkt.

Wichtige Begriffe in diesem Modul

KI-Observability

KI-Observability ist die Praxis, bei jedem Lauf aufzuzeichnen, was ein KI-System tut, mit jedem Modell- und Tool-Aufruf, den Kosten und der Dauer, damit du siehst, warum es sich so verhalten hat. So debuggen und überwachen Teams KI im echten Einsatz.

Latenz (KI-Antwortzeit)

Latenz ist die Zeit, die ein KI-System für eine Antwort braucht, vom Absenden der Anfrage, bis die Antwort oder ihre ersten Wörter ankommen. In Agent-Workflows summiert sie sich über jeden Modell- und Tool-Aufruf eines Durchlaufs.

Trace

Ein Trace ist das Schritt-für-Schritt-Protokoll eines einzelnen Durchlaufs eines KI-Workflows oder Agenten, mit jedem Modell- und Tool-Aufruf der Reihe nach samt Eingaben, Ausgaben, Fehlern und Laufzeiten. Daran siehst du genau, wo ein Durchlauf schiefging.

Häufig gestellte Fragen

Für wen ist „Observability & Tracing“?

Dieses Experte-Modul aus AI Delivery Skills & Workflows ist für Operator, Gründerinnen und Gründer sowie Growth-Teams, die KI in echter Arbeit einsetzen und Urteilsvermögen auf Produktionsniveau wollen. Es dauert etwa 8 Minuten und endet mit einem Quiz aus 4 Fragen.

Muss ich programmieren können?

Nicht, um der Lektion zu folgen. Die Konzepte werden in einfacher Sprache erklärt; wenn du selbst KI-Systeme baust, zeigt die Übung, wo sich die Ideen im Code wiederfinden.

Was kommt vor und nach diesem Modul?

Vor „Observability & Tracing“ solltest du „Der Eval-Workflow“ machen (Modul 3 von AI Delivery Skills & Workflows). Danach geht es weiter mit „Orchestrierung: n8n in der Tiefe“.

Ähnliche Module

• Previous
  Der Eval-Workflow

  Fehleranalyse → Judges → Regression in CI. Der Skill, den Kunden nicht durch eine Demo bekommen.

• Next
  Orchestrierung: n8n in der Tiefe

  Du baust keine Workflows. Du baust Gerüste, die du klonst – der Unterschied zwischen dem Verkauf von Stunden und dem Verkauf von Assets.

• Gleiches Thema
  Die Debugging-Disziplin

  Eine Fünf-Trace-Übung: erst die Hypothese, die Antwort auf der Rückseite.

• Gleiches Thema
  Debugging von KI-Workflows

  Finde den fehlerhaften Schritt, erstelle die minimale Reproduktion, behebe das eigentliche Problem.