Kosten- & Latenzbewusstsein

Vorschau der Lektion

Jeder KI-Aufruf kostet Geld und Zeit – gemessen an den Tokens, die rein- und rausgehen. Agentische Schleifen multiplizieren diese Kosten noch, weil der Kontext bei jedem einzelnen Durchlauf erneut mitgesendet wird. Die Lösung besteht nicht darin, Abstriche bei der Qualität zu machen – sondern zuerst unnötigen Ballast abzubauen, Aufgaben zweitens an das passend dimensionierte Modell weiterzuleiten und drittens Caching zu nutzen; und zwar immer erst, nachdem die Korrektheit per Evals überprüft wurde. Jeder KI-Aufruf wird in Tokens abgerechnet: was du hineinschickst (Input) und was zurückkommt (Output). Bei einer einzelnen Chat-Nachricht klingt das noch simpel. Doch in agentischen Schleifen – in denen das Modell plant, handelt, beobachtet und wiederholt – wird bei jedem Schritt oft ein riesiger Kontext erneut übertragen. Eine Aufgabe mit zehn Schleifendurchläufen kann daher weit mehr als das Zehnfache eines einzelnen Aufrufs kosten, weil jeder Schritt den gesamten bisherigen Verlauf mitschleppt. Diesen Zähler zu verstehen, ist der erste Schritt, um ihn im Griff zu behalten: Kosten hängen nicht nur davon ab, „wie gut das Modell ist“, sondern davon, „wie viel Kontext dieser Workflow wie oft erneut mitsendet“. Die häufigsten Kostenfallen sind keineswegs exotisch – sie sind denkbar banal. Ein riesiger System-Prompt oder Anweisungsblock, der bei jedem einzelnen Aufruf erneut mitgeschickt wird, ganze Dokumente, die einkopiert werden, obwohl nur ein kleiner Abschnitt relevant ist, und geschwätzige Agenten, die viele winzige Schritte statt weniger effizienter Aktionen machen: All das treibt die Ausgaben unbemerkt in die Höhe, ohne die Qualität der Ergebnisse zu verbessern. Es lohnt sich, genau diese Schwachstellen gezielt zu prüfen, denn im Alltag fallen sie kaum auf – niemand stört sich an einem Anweisungsblock mit 3.000 Tokens, bis man ihn auf der Rechnung mit tausenden Durchläufen multipliziert sieht.

Wichtige Begriffe in diesem Modul

Latenz (KI-Antwortzeit)

Latenz ist die Zeit, die ein KI-System für eine Antwort braucht, vom Absenden der Anfrage, bis die Antwort oder ihre ersten Wörter ankommen. In Agent-Workflows summiert sie sich über jeden Modell- und Tool-Aufruf eines Durchlaufs.

Prompt-Caching

Prompt-Caching ist eine Funktion von KI-APIs, die den verarbeiteten Anfang eines wiederholt gesendeten Prompts speichert, damit spätere Anfragen mit exakt demselben Anfang günstiger und schneller sind. Nur dieser Anfang wird wiederverwendet, die Antwort entsteht jedes Mal neu.

Token

Ein Token ist das kleine Textstück, das ein KI-Sprachmodell liest und schreibt, meist ein kurzes Wort oder ein Teil eines längeren Worts. Im Englischen entspricht ein Token im Schnitt etwa drei Vierteln eines Worts, und Kontextfenster und API-Preise werden in Token gezählt.

Häufig gestellte Fragen

Für wen ist „Kosten- & Latenzbewusstsein“?

Dieses Fortgeschritten-Modul aus AI Builder ist für alle, die KI schon täglich nutzen und jetzt ihre ersten echten Workflows und Integrationen bauen wollen. Es dauert etwa 13 Minuten und endet mit einem Quiz aus 4 Fragen.

Muss ich programmieren können?

Klassisches Programmieren brauchst du nicht. Du arbeitest mit No-Code- und Low-Code-Tools und fügst gelegentlich ein kurzes Snippet ein, das die Lektion Zeile für Zeile erklärt.

Was kommt vor und nach diesem Modul?

Vor „Kosten- & Latenzbewusstsein“ solltest du „Strukturierter Output & JSON-Modus“ machen (Modul 10 von AI Builder). Danach geht es weiter mit „Debugging von KI-Workflows“.

Ähnliche Module

• Previous
  Strukturierter Output & JSON-Modus

  Wenn der Output eine Maschine füttert, ist die Form alles.

• Next
  Debugging von KI-Workflows

  Finde den fehlerhaften Schritt, erstelle die minimale Reproduktion, behebe das eigentliche Problem.

• Gleiches Thema
  Von Chatbots zu Betriebssystemen

  Die drei Umbrüche, die KI vom Berater zum Operator gemacht haben.

• Gleiches Thema
  Observability & Tracing

  Als Erstes in deiner Build-Reihenfolge, auch wenn es an vierter Stelle steht – Fehleranalyse braucht Traces zum Auswerten.