Direkt zum Inhalt
Text-Technology
Navigation

Definition

Transformer

Transformer ist eine neuronale Netzwerkarchitektur, die Beziehungen zwischen allen Elementen einer Eingabe über sogenannte Aufmerksamkeit gewichtet.

Der Transformer ist die Bauweise, auf der heutige Sprachmodelle fast durchweg beruhen. Sein Kernstück ist der Aufmerksamkeitsmechanismus: Für jedes Token berechnet das Modell, wie stark andere Tokens im Text für seine Deutung relevant sind. Dadurch kann es auch Bezüge über lange Distanzen erfassen, etwa dass sich ein Pronomen auf ein Nomen am Absatzanfang bezieht.

Im Gegensatz zu älteren rekurrenten Netzen verarbeitet der Transformer die Eingabe weitgehend parallel. Das macht das Training auf sehr großen Textmengen praktikabel, auf Hardware, die viele Rechenoperationen gleichzeitig ausführt.

Für Anwender ist die Architektur vor allem als Erklärung für Eigenschaften wichtig, etwa warum Modelle Kontext berücksichtigen, aber auch warum ihre Länge begrenzt ist.

Verwandte Begriffe

  • EmbeddingEmbedding ist eine Darstellung von Wörtern, Sätzen oder Texten als Vektor aus Zahlen, in dem ähnliche Bedeutungen nahe beieinander liegen.
  • KontextfensterKontextfenster ist die maximale Menge an Tokens, die ein Sprachmodell in einer einzelnen Anfrage gleichzeitig berücksichtigen kann.
  • TokenToken ist die kleinste Einheit, in die ein Sprachmodell Text zerlegt, bevor es ihn verarbeitet.
  • HalluzinationHalluzination bezeichnet eine von einem Sprachmodell erzeugte Aussage, die plausibel klingt, aber nicht durch Fakten oder Quellen gedeckt ist.