Direkt zum Inhalt
Text-Technology
Navigation

Definition

RAG

RAG ist ein Verfahren, bei dem ein Sprachmodell vor der Antwort passende Dokumente aus einer eigenen Quelle abruft und diese in die Anfrage einbezieht.

RAG steht für Retrieval Augmented Generation. Das System sucht zuerst in einer Dokumentensammlung nach Passagen, die zur Frage passen, und gibt diese dem Sprachmodell als Grundlage mit. Die Antwort stützt sich dann auf diese Texte statt allein auf das im Training gelernte Wissen.

Das Verfahren ist nützlich, wenn aktuelle oder unternehmensinterne Inhalte beantwortet werden sollen, die im Modell nicht enthalten sind. Häufig kommen dafür Embeddings und eine Vektordatenbank zum Einsatz, die relevante Abschnitte finden.

Die Qualität steht und fällt mit der Suche. Findet der Abruf die falschen Passagen, wird auch die Antwort falsch, oft aber sehr überzeugend formuliert. Deshalb sollte man Quellen ausweisen und Stichproben prüfen.

Verwandte Begriffe

  • EmbeddingEmbedding ist eine Darstellung von Wörtern, Sätzen oder Texten als Vektor aus Zahlen, in dem ähnliche Bedeutungen nahe beieinander liegen.
  • KontextfensterKontextfenster ist die maximale Menge an Tokens, die ein Sprachmodell in einer einzelnen Anfrage gleichzeitig berücksichtigen kann.
  • HalluzinationHalluzination bezeichnet eine von einem Sprachmodell erzeugte Aussage, die plausibel klingt, aber nicht durch Fakten oder Quellen gedeckt ist.
  • TransformerTransformer ist eine neuronale Netzwerkarchitektur, die Beziehungen zwischen allen Elementen einer Eingabe über sogenannte Aufmerksamkeit gewichtet.