KI-Observability
Definition
KI-Observability ist die Praxis, bei jedem Lauf aufzuzeichnen, was ein KI-System tut, mit jedem Modell- und Tool-Aufruf, den Kosten und der Dauer, damit du siehst, warum es sich so verhalten hat. So debuggen und überwachen Teams KI im echten Einsatz.
Von Ronan Liedmeier, Fractional Head of Growth und Kursautor · Veröffentlicht 17. Oktober 2026 · Zuletzt aktualisiert 17. Oktober 2026
Auch genannt: AI Observability, LLM-Observability, KI-Monitoring
Ein KI-Workflow kann eine plausible Antwort liefern und unterwegs trotzdem etwas Verschwenderisches oder Falsches tun, und das Endergebnis zeigt es nicht. Observability macht diese Schritte sichtbar.
So funktioniert es
Jeder Lauf wird als Trace gespeichert: eine Zeitleiste von Schritten, jeder mit Eingabe, Ausgabe, Fehlern, Dauer und Kosten. Dashboards, die darauf aufbauen, zeigen Summen und Trends, etwa die durchschnittlichen Kosten pro Lauf oder wie oft ein Tool ausfällt. Das Diagramm zeigt dir, dass die Kosten pro Lauf am Dienstag gesprungen sind. Ein einzelner Trace von Dienstag zeigt, welcher Schritt das verursacht hat.
Schau neben der Monatssumme auch auf die Kosten pro Lauf. Ein paar ausufernde Läufe können ein Vielfaches eines normalen Laufs kosten. Traces enthalten außerdem alles, was in die Prompts ging, oft Kundendaten. Sie brauchen deshalb dieselben Zugriffsregeln und Aufbewahrungsfristen wie alle anderen gespeicherten Daten.
Beispiel
Eine Marketingagentur lässt einen KI-Agenten für jeden Kunden eine wöchentliche Zusammenfassung der Anzeigenleistung schreiben. Die Zusammenfassungen sehen gut aus, aber die monatliche Modellrechnung hat sich verdoppelt. Drei Traces zeigen den Grund: Der Agent wiederholt einen fehlschlagenden Aufruf an die Reporting-API bis zu zehnmal pro Lauf, und keiner dieser Versuche wurde als Fehler protokolliert.
Häufiger Fehler
Nur Zusammenfassungen oder Endergebnisse protokollieren. Geht ein Lauf schief, kannst du nicht unterscheiden, ob das Tool schlechte Daten geliefert oder das Modell gute Daten falsch gelesen hat. Speichere die rohen Tool-Ergebnisse und gib allen Schritten eines Laufs dieselbe ID, damit du sie wieder zu einer Zeitleiste zusammensetzen kannst.
In AI Academy lernen
- Observability & TracingExperte · 8 Min.
Verwandte Begriffe
- Trace
- Ein Trace ist das Schritt-für-Schritt-Protokoll eines einzelnen Durchlaufs eines KI-Workflows oder Agenten, mit jedem Modell- und Tool-Aufruf der Reihe nach samt Eingaben, Ausgaben, Fehlern und Laufzeiten. Daran siehst du genau, wo ein Durchlauf schiefging.
- KI-Eval (Evaluation)
- Ein KI-Eval (Evaluation) ist ein wiederholbarer Test, der prüft, ob ein KI-Prompt oder Workflow gute Antworten liefert: Er läuft mit festen Eingaben, und die Ausgaben werden nach vereinbarten Kriterien bewertet. So wird aus „scheint zu passen“ eine Punktzahl, die du vergleichen kannst.
- Latenz (KI-Antwortzeit)
- Latenz ist die Zeit, die ein KI-System für eine Antwort braucht, vom Absenden der Anfrage, bis die Antwort oder ihre ersten Wörter ankommen. In Agent-Workflows summiert sie sich über jeden Modell- und Tool-Aufruf eines Durchlaufs.
- KI-Agent
- Ein KI-Agent ist ein KI-System, das auf ein Ziel hinarbeitet und seine nächsten Schritte selbst wählt: er sucht ein Tool aus, nutzt es, schaut sich das Ergebnis an und wiederholt das, bis die Aufgabe erledigt ist. Du setzt Ziel und Grenzen, den Weg findet der Agent.