Direkt zum Inhalt
Text-Technology
Navigation

RAG & Vektordatenbanken

RAG erklärt: wie Sprachmodelle eigene Dokumente nutzen

Bei RAG sucht ein System erst passende Textstellen und lässt das Sprachmodell dann darauf antworten. So funktioniert das Verfahren und worauf es in der Praxis ankommt.

Zuletzt überarbeitet · Redaktion Text-Technology

Regale mit Dokumenten als Sinnbild für die Suche in eigenen Daten
Foto: Jan van der Wolf / Pexels

Kurzantwort: RAG steht für Retrieval-Augmented Generation. Dabei sucht ein System zuerst passende Textstellen in Ihren Dokumenten und gibt sie dem Sprachmodell zusammen mit der Frage mit. Das Modell antwortet dann auf Grundlage dieser Stellen, ohne dass es neu trainiert werden muss.

Das Problem, das RAG löst

Ein Sprachmodell kennt nur, was in seinen Trainingsdaten steckte, und das endet an einem bestimmten Stichtag. Ihre internen Handbücher, die Preisliste von gestern oder der Vertrag von letzter Woche kennt es nicht. Fragen Sie trotzdem danach, rät es unter Umständen und klingt dabei überzeugend. Das Phänomen heißt Halluzination.

RAG umgeht dieses Problem mit einem simplen Gedanken: Statt dem Modell das Wissen beizubringen, reichen Sie es bei jeder Frage nach. Das Modell wird zum Leser, der gerade die richtigen Seiten aufgeschlagen bekommt.

Der Ablauf in vier Schritten

Ein RAG-System besteht aus einer Vorbereitung und einem Ablauf pro Frage. Zuerst die Vorbereitung, die einmal (und bei Änderungen erneut) läuft:

  1. Dokumente sammeln und bereinigen. PDFs, Webseiten, Wissensdatenbanken werden in Text umgewandelt. Scans brauchen vorher eine Texterkennung.
  2. In Abschnitte zerlegen. Lange Texte werden in handliche Stücke geteilt, meist einige Absätze lang.
  3. In Vektoren umwandeln. Ein Embedding-Modell macht aus jedem Abschnitt eine Zahlenfolge, die seine Bedeutung abbildet. Wie das geht, erklärt der Beitrag über Embeddings.
  4. Speichern. Die Vektoren landen samt Originaltext in einer Vektordatenbank oder einem vergleichbaren Index.

Dann folgt der Ablauf bei jeder Anfrage: Die Frage wird ebenfalls in einen Vektor verwandelt, die ähnlichsten Abschnitte werden gesucht, und diese Treffer wandern gemeinsam mit der Frage in den Prompt. Das Sprachmodell formuliert daraus die Antwort, idealerweise mit Hinweis auf die Fundstellen.

Warum Bedeutung wichtiger ist als Stichwörter

Eine klassische Volltextsuche findet Wörter. Fragen Sie nach „Kündigungsfrist“, übersieht sie eine Stelle, die von „Frist zur Beendigung des Vertrags“ spricht. Die Vektorsuche vergleicht dagegen Bedeutungen und findet beide. Das ist der Grund, weshalb RAG so oft mit Embeddings verbunden wird.

In der Praxis kombinieren viele Systeme beide Wege. Die Stichwortsuche liefert Treffer, wenn es auf exakte Begriffe wie Produktnummern oder Eigennamen ankommt, die Vektorsuche fängt Umschreibungen auf. Ein anschließender Schritt kann die Treffer neu sortieren, bevor sie ins Modell wandern.

Was RAG gut kann

  • Aktualität. Neue Dokumente sind sofort nutzbar, sobald sie im Index stehen. Ein neues Training ist nicht nötig.
  • Belegbarkeit. Antworten lassen sich mit Quellen versehen, sodass Nutzer nachlesen können.
  • Zugriffskontrolle. Wer ein Dokument nicht sehen darf, bekommt Treffer daraus nicht angezeigt, wenn das System die Rechte beim Suchen berücksichtigt.
  • Geringere Erfindungsquote. Das Modell hat Material vor sich und muss weniger raten.
  • Kontrollierbarkeit. Fehlerhafte Antworten lassen sich oft auf eine konkrete Quelle zurückführen und dort beheben.

Wo RAG scheitert

RAG ist kein Zaubertrick. Die Qualität hängt an der Kette, und jedes Glied kann reißen.

Die Suche findet das Falsche. Ist die Frage unklar oder die Aufteilung der Texte ungünstig, landen irrelevante Abschnitte im Prompt. Das Modell antwortet dann auf Basis von Material, das gar nicht passt.

Die Antwort steht verteilt. Braucht eine Frage Informationen aus zehn Dokumenten, reicht eine Handvoll Treffer oft nicht. Auch Fragen wie „Welche Dokumente erwähnen X nicht?“ sind schwer, weil die Suche nach Vorhandenem funktioniert, nicht nach Fehlendem.

Das Kontextfenster ist begrenzt. Nur so viel Text passt in den Prompt, wie das Kontextfenster erlaubt. Mehr Treffer bedeuten mehr Kosten und können das Modell von der eigentlichen Frage ablenken. Ein Gefühl für die Textmenge vermittelt der Token-Rechner.

Das Modell ignoriert die Quellen. Selbst mit gutem Material kann ein Modell Details verwechseln oder doch aus seinem Training ergänzen. Klare Anweisungen im Prompt („Antworte nur anhand der Ausschnitte; sonst sag, dass die Information fehlt“) mildern das, lösen es aber nicht vollständig.

Die Bausteine im Überblick

Baustein Aufgabe Worauf es ankommt
Dokumentenaufbereitung Text sauber herausziehen Tabellen, Kopfzeilen und Scans nicht verlieren
Aufteilung Texte in Abschnitte schneiden Sinneinheiten erhalten, nicht mitten im Satz trennen
Embedding-Modell Bedeutung als Vektor darstellen Muss die Sprache der Dokumente gut abdecken
Vektordatenbank oder Index Ähnliche Abschnitte schnell finden Filter nach Quelle, Datum oder Rechten
Neusortierung Treffer nach Relevanz ordnen Optional, verbessert oft die Auswahl
Sprachmodell Antwort formulieren Soll sich an die Treffer halten

Frameworks und Datenbanken für diese Bausteine sind im Werkzeugverzeichnis in der Kategorie RAG und Vektordatenbanken gesammelt; die Übersicht aller Einträge führt dorthin.

RAG für Deutsch: Besonderheiten

Deutsche Texte stellen eigene Anforderungen. Zusammengesetzte Wörter wie „Betriebskostenabrechnung“ bleiben bei reiner Stichwortsuche leicht ungefunden, wenn jemand nach „Betriebskosten“ sucht. Ein Embedding-Modell, das mit deutschen Texten gut umgehen kann, ist daher wichtig. Einen Überblick, welche Modelle die Sprache beherrschen, gibt der Beitrag zu Sprachmodellen für Deutsch.

Auch die Aufbereitung zählt: Amtliche Formulare, Tabellen und Fußnoten brechen beim Auslesen gern auseinander. Prüfen Sie früh, wie der Text nach der Extraktion aussieht, bevor Sie den Rest bauen.

RAG oder Fine-Tuning?

Beide Verfahren bringen ein Modell näher an Ihre Inhalte, aber auf verschiedene Weise. RAG liefert Wissen zur Laufzeit, Fine-Tuning verändert das Modell selbst und eignet sich eher für Stil, Format und wiederkehrende Aufgaben. Für wechselnde Fakten ist RAG meist die einfachere Wahl. Die Abwägung im Detail steht im Ratgeber Fine-Tuning oder RAG.

Wie Sie ein RAG-System testen

Bevor ein System in den Einsatz geht, braucht es eine Prüfung mit echten Fragen. Sammeln Sie typische Anfragen und notieren Sie, welche Stelle die richtige Antwort liefern müsste. Dann sehen Sie zwei Dinge getrennt: Hat die Suche die richtige Stelle gefunden? Und hat das Modell sie richtig verwertet? Wer nur die Endantwort beurteilt, weiß bei einem Fehler nicht, wo er zu suchen hat.

Testen Sie auch Fragen, auf die es keine Antwort gibt. Ein gutes System räumt ein, dass die Information fehlt, statt etwas zu erfinden. Wiederholen Sie die Tests nach jeder Änderung an Aufteilung, Modell oder Prompt.

Fertige Lösungen und Eigenbau

Nicht jeder muss RAG selbst bauen. Dienste wie NotebookLM verpacken das Prinzip für Einzelpersonen. Lokale Programme laden Dokumente und beantworten Fragen auf dem eigenen Rechner, ein Vergleich steht unter LM Studio, Ollama und AnythingLLM. Für Unternehmen mit großen Beständen, Rechteverwaltung und Anbindung an Systeme lohnt der Eigenbau mit Bibliotheken und einer Datenbank.

Ein durchgespieltes Beispiel

Angenommen, ein Betrieb besitzt ein Handbuch für die Wartung seiner Maschinen. Ein Techniker fragt: „Wie wechsle ich den Filter an Anlage drei?“ Ohne RAG würde ein Sprachmodell vermutlich eine allgemeine Anleitung liefern, die zu einer anderen Anlage passen könnte. Mit RAG sucht das System zuerst im Handbuch, findet den Abschnitt zu dieser Anlage und legt ihn dem Modell vor. Die Antwort folgt den Schritten des Herstellers und nennt das Kapitel, aus dem sie stammt.

Fragt derselbe Techniker nach etwas, das im Handbuch nicht steht, sollte das System das offen sagen. Genau dieses Verhalten muss man gezielt einbauen und testen, denn von allein neigen Modelle dazu, eine plausible Lücke zu füllen.

Aufteilung der Texte: der unterschätzte Hebel

Viele Probleme in RAG-Systemen beginnen beim Zerschneiden der Dokumente. Sind die Abschnitte zu kurz, fehlt der Zusammenhang: Ein Satz wie „Dies gilt nicht für Sonderfälle“ ist ohne seinen Vorsatz wertlos. Sind sie zu lang, enthält ein Treffer viel Unwichtiges, und das Kontextfenster füllt sich mit Ballast.

Bewährt haben sich Schnitte an natürlichen Grenzen wie Überschriften und Absätzen. Oft hilft eine leichte Überlappung, damit Übergänge nicht verloren gehen. Wer dem Abschnitt außerdem Überschrift, Dokumenttitel und Datum mitgibt, erleichtert späteres Filtern und Zitieren.

Kosten und Aufwand realistisch einschätzen

Ein Prototyp ist oft an einem Nachmittag gebaut, ein verlässliches System braucht deutlich länger. Der Aufwand steckt weniger in der Technik als in der Datenpflege: veraltete Fassungen aussortieren, Zuständigkeiten klären, Fehlerfälle auswerten. Laufende Kosten entstehen durch Rechenzeit für Modell und Suche sowie durch den Speicher für den Index. Wie viel Text pro Anfrage zusammenkommt, lässt sich vorab abschätzen.

Planen Sie außerdem eine Rückmeldemöglichkeit ein. Wenn Nutzer eine schlechte Antwort melden können, erfahren Sie schnell, welche Dokumente fehlen oder falsch zerlegt wurden.

Fazit

RAG verbindet Suche und Textgenerierung: erst finden, dann formulieren. Das macht Sprachmodelle für eigene, wechselnde Inhalte nutzbar und Antworten überprüfbar. Der Preis ist ein System aus mehreren Teilen, deren Zusammenspiel Sie testen und pflegen müssen. Wer mit sauberen Quellen, sinnvollen Abschnitten und echten Testfragen beginnt, kommt am schnellsten zu einem brauchbaren Ergebnis.

Fragen und Antworten

Was bedeutet RAG bei Sprachmodellen?

RAG steht für Retrieval-Augmented Generation. Das System sucht passende Textstellen und übergibt sie dem Sprachmodell mit der Frage, damit die Antwort auf diesen Stellen beruht.

Muss ich ein Modell für RAG neu trainieren?

Nein. Das Modell bleibt unverändert. Neues Wissen kommt über die Dokumente in den Index, nicht über das Training.

Verhindert RAG Halluzinationen vollständig?

Nein. Es senkt das Risiko, weil das Modell Material vor sich hat. Findet die Suche aber Falsches oder ignoriert das Modell die Treffer, können trotzdem Fehler entstehen.

Brauche ich für RAG immer eine Vektordatenbank?

Nicht zwingend. Kleine Bestände lassen sich auch mit einfachen Indizes oder einer Stichwortsuche bedienen. Bei vielen Dokumenten und Suche nach Bedeutung ist eine Vektordatenbank meist sinnvoll.