Direkt zum Inhalt
Text-Technology
Navigation

Definition

Attention

Attention, deutsch Aufmerksamkeit, ist der Mechanismus im Transformer, der jedem Token eine Gewichtung für die Bedeutung aller anderen Tokens zuweist.

Attention ist die Rechenoperation, mit der ein Transformer entscheidet, auf welche Teile der Eingabe er bei jedem Schritt achtet. Für jedes Token werden Gewichte berechnet, die anzeigen, wie wichtig andere Tokens für seine Deutung sind. Aus diesen Gewichten entsteht eine neue Darstellung, die den Zusammenhang berücksichtigt.

So kann das Modell zum Beispiel erkennen, welches Nomen ein Pronomen meint oder welches Adjektiv zu welchem Substantiv gehört. Dabei betrachtet es alle Tokens gleichzeitig, nicht nur Nachbarn.

Die Methode ist rechenintensiv, weil jeder Token mit jedem anderen verglichen wird. Lange Eingaben werden dadurch teuer, was eine Grenze für die Länge des Kontextfensters mit erklärt.

Verwandte Begriffe

  • TransformerTransformer ist eine neuronale Netzwerkarchitektur, die Beziehungen zwischen allen Elementen einer Eingabe über sogenannte Aufmerksamkeit gewichtet.
  • KontextfensterKontextfenster ist die maximale Menge an Tokens, die ein Sprachmodell in einer einzelnen Anfrage gleichzeitig berücksichtigen kann.
  • EmbeddingEmbedding ist eine Darstellung von Wörtern, Sätzen oder Texten als Vektor aus Zahlen, in dem ähnliche Bedeutungen nahe beieinander liegen.
  • TokenToken ist die kleinste Einheit, in die ein Sprachmodell Text zerlegt, bevor es ihn verarbeitet.