Definition
Tokenizer
Tokenizer ist das Programm, das Text nach festen Regeln in Tokens zerlegt und jedem Token eine eindeutige Kennung zuweist.
Ein Tokenizer legt fest, wie aus einem Text die Einheiten werden, mit denen ein Sprachmodell arbeitet. Er besteht aus einem Regelwerk und einem Vokabular, das vorab aus Trainingsdaten gelernt wird. Jedes Token erhält dabei eine feste Nummer, die das Modell verarbeiten kann.
Der Tokenizer entscheidet mit darüber, wie lang ein Text in der Verarbeitung wird und wie gut seltene oder fremdsprachige Wörter erfasst werden. Deutsche Komposita und Sonderzeichen werden von manchen Tokenizern deutlich zerstückelt, was Kosten und Genauigkeit beeinflusst.
Wer Modelle vergleicht, sollte daher nicht nur deren Leistung, sondern auch die Tokenisierung der eigenen Texte prüfen.
Verwandte Begriffe
- TokenToken ist die kleinste Einheit, in die ein Sprachmodell Text zerlegt, bevor es ihn verarbeitet.
- BPEBPE, Byte-Pair-Encoding, ist ein Verfahren, das häufige Zeichenpaare schrittweise zu größeren Tokens zusammenfasst und so ein Vokabular bildet.
- KontextfensterKontextfenster ist die maximale Menge an Tokens, die ein Sprachmodell in einer einzelnen Anfrage gleichzeitig berücksichtigen kann.
- NLPNLP ist das Forschungs- und Anwendungsfeld, in dem Computer natürliche Sprache verarbeiten, analysieren und erzeugen.