Definition
Chunking
Chunking zerlegt lange Dokumente in kleinere Abschnitte, die sich einzeln einbetten, durchsuchen und dem Modell übergeben lassen.
Chunking bedeutet, einen Text in überschaubare Teile zu schneiden, bevor er in ein Suchsystem wandert. Die Teile sollten inhaltlich zusammenhängen, etwa ein Absatz oder ein Abschnitt, damit eine Passage für sich verständlich bleibt. Schneidet man mitten im Gedanken, verliert der Abruf seine Treffsicherheit.
Wichtig ist auch eine kleine Überlappung zwischen benachbarten Teilen, damit Zusammenhänge an den Grenzen nicht verloren gehen. Die passende Größe hängt vom Dokumenttyp und vom eingesetzten Embedding-Modell ab.
Bei RAG-Systemen entscheidet das Chunking mit darüber, ob die richtige Information überhaupt gefunden wird. Es lohnt sich, die Abschnitte stichprobenartig zu prüfen.
Verwandte Begriffe
- RAGRAG ist ein Verfahren, bei dem ein Sprachmodell vor der Antwort passende Dokumente aus einer eigenen Quelle abruft und diese in die Anfrage einbezieht.
- EmbeddingEmbedding ist eine Darstellung von Wörtern, Sätzen oder Texten als Vektor aus Zahlen, in dem ähnliche Bedeutungen nahe beieinander liegen.
- VektordatenbankVektordatenbank ist ein Speichersystem, das Embeddings ablegt und die ähnlichsten Vektoren zu einer Anfrage schnell findet.
- KontextfensterKontextfenster ist die maximale Menge an Tokens, die ein Sprachmodell in einer einzelnen Anfrage gleichzeitig berücksichtigen kann.