Latenz (KI-Antwortzeit)

Menschen spüren sie als Wartezeit. In automatisierten Workflows entscheidet sie, ob ein Job in Sekunden oder in Minuten fertig ist. Sie hängt an denselben Faktoren wie die Kosten: wie viele Token hineingehen, wie viele herauskommen und wie viele Aufrufe eine Aufgabe braucht.

So funktioniert es

Ein einzelner Modellaufruf hat zwei Teile: die Wartezeit bis zum ersten Token und die Zeit, den Rest zu erzeugen. Größere Modelle sind außerdem langsamer. Ein Agent Loop vervielfacht das, weil jeder Schritt auf einen Modellaufruf und oft auf einen Tool-Aufruf wartet. Viele Loops schicken zudem in jeder Runde den kompletten Kontext neu.

Teams beobachten einen typischen Wert und einen Wert für die langsamen Ausreißer, etwa p95: die Zeit, in der 95 % der Durchläufe fertig sind. Über die langsamen Durchläufe beschweren sich die Leute. Ein Dashboard zeigt, dass die Ausreißer schlimmer geworden sind. Ein Trace eines einzelnen Durchlaufs zeigt, welcher Schritt das verursacht hat.

Beispiel

Eine Support-Leiterin baut einen Workflow, der Antworten auf Kundentickets entwirft. Die Entwürfe kommen so spät, dass ihre Mitarbeiter lieber selbst schreiben. Fünf Traces zeigen das Problem: Der Agent durchsucht das Hilfecenter sechsmal pro Ticket, seit eine Prompt-Änderung die Zeile entfernt hat, die ihn auf zwei Suchen begrenzte. Mit der Zeile zurück im Prompt sinkt die Antwortzeit, mit demselben Modell.

Häufiger Fehler

Auf Tempo optimieren, bevor geprüft ist, dass die Antworten stimmen. Ein kleineres Modell oder ein gekürzter Kontext kann Latenz und Qualität gleichzeitig senken. Die Reihenfolge, die funktioniert: Korrektheit mit einem Eval bestätigen, Verschwendung wie wiederholten Kontext streichen, einfache Aufgaben mit hohem Volumen an schnellere Modelle geben, dann Caching ergänzen.