Direkt zum Inhalt
Text-Technology
Navigation

Definition

Kontextfenster

Kontextfenster ist die maximale Menge an Tokens, die ein Sprachmodell in einer einzelnen Anfrage gleichzeitig berücksichtigen kann.

Das Kontextfenster ist der Arbeitsspeicher eines Sprachmodells für eine Anfrage. Alles, was das Modell für seine Antwort berücksichtigen soll, also Frage, Vorinformation und bisheriger Gesprächsverlauf, muss in dieses Fenster passen. Was darüber hinausgeht, sieht das Modell nicht.

Praktisch bedeutet das: Lange Dokumente müssen gekürzt, aufgeteilt oder über eine Suche vorselektiert werden. Wer ein ganzes Handbuch in eine Anfrage packt, riskiert, dass Teile ignoriert oder nur oberflächlich verarbeitet werden. Auch die Kosten steigen mit der Länge der Eingabe.

Ein großes Kontextfenster ist nützlich, ersetzt aber keine saubere Aufbereitung. Relevante Passagen gezielt bereitzustellen liefert oft bessere Ergebnisse als möglichst viel Text auf einmal.

Verwandte Begriffe

  • TokenToken ist die kleinste Einheit, in die ein Sprachmodell Text zerlegt, bevor es ihn verarbeitet.
  • TransformerTransformer ist eine neuronale Netzwerkarchitektur, die Beziehungen zwischen allen Elementen einer Eingabe über sogenannte Aufmerksamkeit gewichtet.
  • RAGRAG ist ein Verfahren, bei dem ein Sprachmodell vor der Antwort passende Dokumente aus einer eigenen Quelle abruft und diese in die Anfrage einbezieht.
  • EmbeddingEmbedding ist eine Darstellung von Wörtern, Sätzen oder Texten als Vektor aus Zahlen, in dem ähnliche Bedeutungen nahe beieinander liegen.