RAG: Wann es die richtige Lösung ist

Vorschau der Lektion

Eine falsche Antwort trotz korrekter Chunks im Kontext ist ein Generierungsproblem. Eine falsche Antwort mit falschen Chunks ist ein Retrieval-Problem – und keine noch so raffinierte Prompt-Bastelei kann das retten. Teste Retrieval immer zuerst und isoliert. RAG rechtfertigt seine Komplexität erst dann, wenn alle drei folgenden Punkte zutreffen – fehlt auch nur einer davon, ist eine einfachere Lösung meist die bessere Wahl. 1. Das Wissen ist zu umfangreich oder zu volatil, um in den Kontext zu passen oder per Fine-Tuning antrainiert zu werden. Ein 300-seitiges Richtlinienhandbuch, das vierteljährlich aktualisiert wird, erfüllt diese Voraussetzung. Eine FAQ mit 40 Absätzen nicht. 2. Antworten müssen zwingend aus deinen spezifischen Dokumenten stammen – Kunden-SOPs, Richtlinien, Produktkatalogen – und nicht aus dem allgemeinen Trainingswissen des Modells. Wenn das Modell die Antwort bereits zuverlässig kennt, bringt Retrieval nur zusätzliche Latenz ohne echten Mehrwert. 3. Du brauchst eine nachvollziehbare Herkunft. „Diese Antwort basiert auf diesen drei Textstellen“ ist für regulierte Branchen und markensensible Kunden immer häufiger eine harte Vorgabe. Wenn du keine Quelle belegen kannst, generierst du nur – du betreibst kein Retrieval. Ein Chunk ist die Basiseinheit beim Retrieval – er wird aus dem Speicher geholt und an das Modell übergeben. Wenn du hier Fehler machst, pflanzen sie sich in jeder nachgelagerten Komponente fort. Chunking mit fester Größe (~500 Tokens, 10–15 % Überlappung) ist der robuste Standard. Es federt auch unordentliche, uneinheitlich formatierte Dokumente sauber ab. Semantisches Chunking (Aufteilung nach Überschriften und Themengrenzen) zahlt sich bei gut strukturierten Dokumenten wie Richtlinienseiten und API-Referenzen aus. Bei unstrukturiertem oder chaotischem Quellmaterial richtet es meist eher Schaden an. Die unverrückbare Grundregel lautet: Ein Chunk muss für sich allein gelesen immer noch Sinn ergeben. Ein Chunk, der mit „und daher wird das Limit verdoppelt“ beginnt, lässt sich zwar prima abrufen, liefert aber miserable Antworten – weil jeder Kontext fehlt, was verdoppelt wurde und warum. Speichere deshalb großzügig Metadaten zu jedem Chunk – Quell-URL, Abschnittstitel, Gültigkeitsdatum, Kunde, Zugriffsebene.

Wichtige Begriffe in diesem Modul

Chunking

Chunking ist das Zerlegen langer Dokumente in kleinere Stücke, bevor sie in ein RAG-System gehen, damit eine Suche genau den passenden Teil findet. Wo du den Text schneidest, entscheidet, ob jedes Stück für sich noch Sinn ergibt.

Embedding

Ein Embedding ist eine Liste von Zahlen, die die Bedeutung eines Textes abbildet, damit ein Computer messen kann, wie ähnlich sich zwei Texte sind. Texte mit derselben Aussage bekommen ähnliche Zahlen, auch wenn sie andere Wörter verwenden.

Fine-Tuning

Fine-Tuning ist ein zusätzliches Training, das ein bestehendes KI-Modell mit deinen eigenen Beispielen anpasst, damit es einen bestimmten Stil, ein Format oder eine Aufgabe lernt. Es verändert das Modell selbst. Ein Prompt oder eine Dokumentensuche ändert nur, was das Modell bei einer Anfrage sieht.

Retrieval-Augmented Generation (RAG)

Retrieval-Augmented Generation (RAG) ist ein Verfahren, mit dem ein KI-Modell aus deinen eigenen Dokumenten antwortet. Zuerst findet eine Suche die Textstellen, die zur Frage passen, dann schreibt das Modell seine Antwort auf Basis dieser Stellen.

Semantische Suche

Semantische Suche ist eine Suche nach Bedeutung statt nach exakten Wörtern, die auch Textstellen findet, die deine Frage mit anderen Worten beantworten. Meist vergleicht sie dafür Embeddings, also Zahlenreihen, die erfassen, was ein Text bedeutet.

Vektordatenbank

Eine Vektordatenbank ist eine Datenbank, die Embeddings speichert, also Zahlenlisten, die die Bedeutung von Text abbilden, und schnell die Einträge findet, die einer neuen Frage am nächsten sind. In vielen RAG-Systemen passiert dort der Suchschritt.

Häufig gestellte Fragen

Für wen ist „RAG: Wann es die richtige Lösung ist“?

Dieses Experte-Modul aus AI Delivery Skills & Workflows ist für Operator, Gründerinnen und Gründer sowie Growth-Teams, die KI in echter Arbeit einsetzen und Urteilsvermögen auf Produktionsniveau wollen. Es dauert etwa 9 Minuten und endet mit einem Quiz aus 5 Fragen.

Muss ich programmieren können?

Nicht, um der Lektion zu folgen. Die Konzepte werden in einfacher Sprache erklärt; wenn du selbst KI-Systeme baust, zeigt die Übung, wo sich die Ideen im Code wiederfinden.

Was kommt vor und nach diesem Modul?

Vor „RAG: Wann es die richtige Lösung ist“ solltest du „Das Agentic-Build-Pattern“ machen (Modul 1 von AI Delivery Skills & Workflows). Danach geht es weiter mit „Der Eval-Workflow“.

Ähnliche Module

• Previous
  Das Agentic-Build-Pattern

  Ein Agent ist ein Regelkreis, keine Persönlichkeit.

• Next
  Der Eval-Workflow

  Fehleranalyse → Judges → Regression in CI. Der Skill, den Kunden nicht durch eine Demo bekommen.

• Gleiches Thema
  RAG für einen Dokumentensatz

  Lass KI auf Basis DEINER Dokumente antworten – ein Ordner, ein Retriever, ganz ohne Vektor-DB-Wissenschaft.

• Gleiches Thema
  Das Adoption-Playbook

  OpenAI × Anthropic – die ineinandergreifenden Belege der Frontier Labs.