Chunking

Das Modell sieht nur die Chunks, die die Suche zurückgibt, nicht die Dokumente, aus denen sie stammen. Ein schlechter Schnitt kann ihm eine halbe Tabelle liefern oder eine Regel ohne die Ausnahme, die danach kommt.

So funktioniert es

Die einfachste Methode schneidet den Text nach einer festen Zahl von Wörtern oder Token, oft mit etwas Überlappung zwischen benachbarten Stücken. Für die meisten Geschäftsdokumente ist es besser, der Struktur zu folgen: ein Chunk pro Abschnitt oder Unterabschnitt, entlang der Überschriften, und Tabellen bleiben ganz.

Jeder Chunk sollte außerdem Kontext mitbringen, also Dokumenttitel, Abschnittsüberschrift und ein Datum, entweder im Text oder als Metadaten. Danach testest du. Stell echte Fragen, schau dir an, welche Chunks zurückkommen, und pass die Schnitte an, bis die richtigen erscheinen.

Beispiel

Die Buchhaltung eines Mittelständlers stellt ihre Reisekostenrichtlinie in einen RAG-Assistenten. Der Schnitt nach fester Länge teilt die Tabelle mit den Tagespauschalen: Ein Chunk enthält die Ländernamen, der nächste die Beträge. Fragen nach der Tagespauschale für Österreich kommen falsch zurück. Das Team schneidet neu nach Abschnittsüberschriften, lässt die Tabelle in einem Stück und wiederholt die Überschrift oben in jedem Chunk. Danach stimmen die Antworten, und am Prompt hat sich nichts geändert.

Häufiger Fehler

So klein schneiden, dass die Chunks ihren Sinn verlieren. Ein Stück, das mit „Diese Grenze gilt nur für freie Mitarbeiter“ beginnt, passt vielleicht gut zur Suchanfrage und führt trotzdem in die Irre, weil es nie sagt, welche Grenze gemeint ist. Lass den Satz, der das Thema nennt, im selben Chunk wie die Regel, die darauf folgt.