Definition
Halluzination
Halluzination bezeichnet eine von einem Sprachmodell erzeugte Aussage, die plausibel klingt, aber nicht durch Fakten oder Quellen gedeckt ist.
Eine Halluzination ist eine Antwort, die ein Sprachmodell flüssig und sicher formuliert, deren Inhalt aber falsch oder erfunden ist. Das Modell erzeugt Text nach Wahrscheinlichkeiten und prüft nicht selbst gegen eine Wirklichkeit. Deshalb kann es erfundene Literaturangaben, Gesetzesparagrafen oder Zitate ausgeben, die echt wirken.
Im Alltag zeigt sich das besonders bei Nischenthemen, bei Zahlen und bei Namen. Je spezieller die Frage und je weniger Trainingsmaterial dazu existiert, desto eher entstehen Lücken, die das Modell mit Plausiblem füllt.
Gegenmittel sind Quellenangaben, Abruf von Dokumenten wie bei RAG und eine menschliche Prüfung vor jeder Veröffentlichung. Ganz ausschließen lässt sich das Problem derzeit nicht.
Verwandte Begriffe
- RAGRAG ist ein Verfahren, bei dem ein Sprachmodell vor der Antwort passende Dokumente aus einer eigenen Quelle abruft und diese in die Anfrage einbezieht.
- TransformerTransformer ist eine neuronale Netzwerkarchitektur, die Beziehungen zwischen allen Elementen einer Eingabe über sogenannte Aufmerksamkeit gewichtet.
- KontextfensterKontextfenster ist die maximale Menge an Tokens, die ein Sprachmodell in einer einzelnen Anfrage gleichzeitig berücksichtigen kann.
- EmbeddingEmbedding ist eine Darstellung von Wörtern, Sätzen oder Texten als Vektor aus Zahlen, in dem ähnliche Bedeutungen nahe beieinander liegen.