KI-Guardrails
Definition
KI-Guardrails sind Prüfungen und Grenzen rund um ein KI-System, die unsichere oder falsche Eingaben und Ausgaben blockieren oder markieren, bevor sie Schaden anrichten. Die stärksten laufen als Code außerhalb des Modells. Auch eine geschickt formulierte Anfrage kommt an ihnen nicht vorbei.
Von Ronan Liedmeier, Fractional Head of Growth und Kursautor · Veröffentlicht 17. Oktober 2026 · Zuletzt aktualisiert 17. Oktober 2026
Auch genannt: AI Guardrails, LLM-Guardrails, KI-Leitplanken
Wichtig werden sie, sobald KI Nachrichten verschicken oder Live-Systeme ändern kann, ohne dass ein Mensch jede Ausgabe liest.
So funktioniert es
Guardrails sitzen an drei Stellen. Vor dem Modell entscheiden Allow-Lists und Deny-Lists, welche Eingaben überhaupt durchkommen. Im Prompt steht, was das Modell ablehnen soll. Nach dem Modell prüft Code die Ausgabe, zum Beispiel mit einer Bereichsprüfung bei Zahlen oder einem Scan nach verbotenen Formulierungen, und stoppt alles, was durchfällt.
Bei Agents mit Tools wirkt am stärksten, wenn du begrenzt, welche Tools der Agent aufrufen darf, und Obergrenzen für Tool-Aufrufe und Kosten pro Durchlauf setzt. Aktionen, die Geld bewegen oder Daten löschen, laufen über eine menschliche Freigabe oder bleiben ganz außer Reichweite des Agenten. Eine blockierte Aktion sollte eine Person alarmieren, damit jemand den Fehler sieht.
Beispiel
Eine Hausverwaltung lässt KI Antworten auf Reparaturmeldungen von Mietern entwerfen. Eine Code-Prüfung durchsucht jeden Entwurf nach Datumsangaben und Geldbeträgen. Jeder Entwurf, der einen Reparaturtermin oder Kosten zusagt, landet in der Warteschlange einer Mitarbeiterin, statt verschickt zu werden. Die Regel im Prompt, keine Zusagen zu machen, bleibt zusätzlich bestehen.
Häufiger Fehler
Die Regel in den Prompt schreiben und das riskante Tool verbunden lassen. Wenn der Agent weiterhin laufende Werbekampagnen ändern kann, hält ihn „Ändere niemals laufende Kampagnen“ im Prompt nicht davon ab. Entferne oder beschränke das Tool. Und schreib auf, welche Prüfungen es gibt, damit nicht nur die Person, die das System gebaut hat, weiß, was greift.
In AI Academy lernen
- Einfache GuardrailsFortgeschritten · 15 Min.
- Guardrails, Berechtigungen & SicherheitsarchitekturExperte · 8 Min.
Verwandte Begriffe
- Human in the Loop
- Human in the Loop ist ein Ansatz, bei dem ein KI-System an festgelegten Stellen anhält, damit ein Mensch seine Arbeit freigeben oder korrigieren kann, bevor sie wirksam wird. Das nutzt man für Aktionen, die sich schwer rückgängig machen lassen, etwa E-Mails an Kunden oder Zahlungen.
- Prompt Injection
- Prompt Injection ist ein Angriff, bei dem Anweisungen in einem Text, den eine KI liest (etwa eine E-Mail, Webseite oder Datei), das Modell zu etwas bringen, das sein Nutzer nicht wollte. OWASP führt sie auf Platz 1 seiner Top 10 für LLM-Anwendungen.
- Strukturierte Ausgabe (JSON-Modus)
- Strukturierte Ausgabe ist ein Verfahren, mit dem ein KI-Modell in einem festen, maschinenlesbaren Format antwortet statt mit Fließtext, meist als JSON mit benannten Feldern. So kann ein Programm sie zuverlässig lesen, etwa um eine Tabellenzeile zu füllen oder den nächsten Workflow-Schritt zu wählen.
- KI-Governance
- KI-Governance ist das Regelwerk mit Zuständigkeiten und Kontrollen, mit dem eine Organisation festlegt, welche KI-Nutzung erlaubt ist, wie Risiken behandelt werden und wer geradesteht, wenn etwas schiefgeht. Das US-Institut NIST hat dafür einen freiwilligen Rahmen: das AI Risk Management Framework.