Retrieval-Augmented Generation (RAG)
Definition
Retrieval-Augmented Generation (RAG) ist ein Verfahren, mit dem ein KI-Modell aus deinen eigenen Dokumenten antwortet. Zuerst findet eine Suche die Textstellen, die zur Frage passen, dann schreibt das Modell seine Antwort auf Basis dieser Stellen.
Von Ronan Liedmeier, Fractional Head of Growth und Kursautor · Veröffentlicht 17. Oktober 2026 · Zuletzt aktualisiert 17. Oktober 2026
Auch genannt: RAG, Retrieval Augmented Generation
Du brauchst es, wenn dein Material zu groß für einen einzelnen Prompt ist, wenn Antworten eine Quelle nennen müssen oder wenn sich die Dokumente oft ändern. Der Name stammt aus einem Paper von Patrick Lewis und Kollegen aus dem Jahr 2020. Darin wurde ein Sprachmodell mit einem Retriever kombiniert, der einen Vektorindex der Wikipedia durchsuchte.
So funktioniert es
- Dokumente werden in Abschnitte zerlegt. Dieser Schritt heißt Chunking.
- Jeder Abschnitt wird in ein Embedding umgewandelt und in einer Vektordatenbank gespeichert, am besten zusätzlich mit einem Stichwortindex.
- Kommt eine Frage, sucht das System die Abschnitte, die ihr am nächsten sind. Ein Reranker kann sie danach nach Relevanz neu sortieren.
- Die besten Abschnitte gehen mit der Frage an das Modell. Dazu kommt die Anweisung, nur daraus zu antworten und bei jeder Aussage den Abschnitt zu nennen, aus dem sie stammt.
Passt die ganze Quelle ins Kontextfenster des Modells, kann es einfacher sein, sie in ein Projekt hochzuladen, als all das aufzubauen.
Beispiel
Die Leiterin des Kundenservice bei einem Softwareanbieter lädt die Hilfeartikel der Firma in ein RAG-System für ihr Team. Ein Mitarbeiter fragt, ob Kunden mit Jahresabo die Abrechnung pausieren können. Das System holt die Abschnitte zum Pausieren und zum Jahresabo, und das Modell antwortet mit Links zu beiden. Ändert sich die Regelung, passt sie den Artikel an, das System indexiert ihn neu, und die nächste Antwort enthält die Änderung.
Häufiger Fehler
Den Prompt umschreiben, wenn die Antworten falsch sind. Die meisten schlechten RAG-Antworten beginnen beim Abruf: Die richtige Textstelle wurde nie gefunden. Schau dir vor jeder Prompt-Änderung an, welche Abschnitte die Suche für die fehlerhaften Fragen geliefert hat. Sind sie falsch, korrigier zuerst das Chunking oder die Suche.
In AI Academy lernen
- RAG für einen DokumentensatzFortgeschritten · 16 Min.Kostenlos
- RAG: Wann es die richtige Lösung istExperte · 9 Min.
Verwandte Begriffe
- Embedding
- Ein Embedding ist eine Liste von Zahlen, die die Bedeutung eines Textes abbildet, damit ein Computer messen kann, wie ähnlich sich zwei Texte sind. Texte mit derselben Aussage bekommen ähnliche Zahlen, auch wenn sie andere Wörter verwenden.
- Vektordatenbank
- Eine Vektordatenbank ist eine Datenbank, die Embeddings speichert, also Zahlenlisten, die die Bedeutung von Text abbilden, und schnell die Einträge findet, die einer neuen Frage am nächsten sind. In vielen RAG-Systemen passiert dort der Suchschritt.
- Chunking
- Chunking ist das Zerlegen langer Dokumente in kleinere Stücke, bevor sie in ein RAG-System gehen, damit eine Suche genau den passenden Teil findet. Wo du den Text schneidest, entscheidet, ob jedes Stück für sich noch Sinn ergibt.
- Kontextfenster
- Ein Kontextfenster ist die maximale Textmenge, die ein KI-Modell auf einmal berücksichtigen kann, gemessen in Token. Es enthält deine Nachrichten, angehängte Dateien, die Anweisungen und die eigenen Antworten des Modells. Was nicht hineinpasst, bleibt außen vor.