Tokenizer & Embeddings
Was ist ein Tokenizer? Tokens in Sprachmodellen erklärt
Der Tokenizer ist die Übersetzungsschicht zwischen Text und Sprachmodell. Hier lesen Sie, wie er arbeitet und welche Folgen das im Alltag hat.
Zuletzt überarbeitet · Redaktion Text-Technology

Kurzantwort: Ein Tokenizer zerlegt Text in kleine Einheiten, sogenannte Tokens, und wandelt sie in Zahlen um, denn ein Sprachmodell kann nur mit Zahlen rechnen. Ein Token ist oft ein Wortteil, manchmal ein ganzes Wort oder ein einzelnes Zeichen. Wie ein Text zerlegt wird, bestimmt Kosten, Geschwindigkeit und teilweise die Qualität der Antwort.
Warum Modelle keine Wörter lesen
Für Menschen besteht ein Satz aus Wörtern. Ein neuronales Netz kennt keine Wörter, sondern nur Zahlenfolgen. Zwischen Ihrer Eingabe und dem Modell steht deshalb eine Übersetzungsschicht: der Tokenizer. Er schneidet den Text in Stücke, schlägt jedes Stück in einer festen Liste nach und gibt dessen Nummer weiter. Am Ende der Verarbeitung läuft der Weg rückwärts, und aus Nummern wird wieder lesbarer Text.
Diese Liste heißt Vokabular. Sie wird vor dem Training festgelegt und bleibt danach unverändert. Jedes Modell hat sein eigenes Vokabular, deshalb sind Tokens verschiedener Modelle nicht austauschbar.
Was ein Token ist
Ein Token ist die kleinste Einheit, die das Modell verarbeitet. Es gibt drei grundsätzliche Zuschnitte:
- Wortbasiert: Jedes Wort ist ein Token. Das ist anschaulich, aber das Vokabular wird riesig, und unbekannte Wörter fallen durch.
- Zeichenbasiert: Jeder Buchstabe ist ein Token. Nichts bleibt unbekannt, doch die Folgen werden sehr lang und das Modell muss mühsam Bedeutung aus Einzelbuchstaben aufbauen.
- Wortteilbasiert: Häufige Wörter bleiben ganz, seltene werden in Bausteine zerlegt. Dieser Mittelweg setzt sich in heutigen Sprachmodellen durch.
Ein Wort wie „Donaudampfschifffahrt“ lässt sich so in mehrere vertraute Stücke teilen, obwohl das Gesamtwort im Vokabular fehlt. Ein einfaches Wort wie „Haus“ bleibt dagegen meist ein einziges Token.
Wie ein Tokenizer sein Vokabular lernt
Das Vokabular wird nicht von Hand geschrieben, sondern aus großen Textmengen berechnet. Am häufigsten begegnen Ihnen folgende Verfahren:
- Byte-Pair-Encoding (BPE): Der Algorithmus beginnt mit einzelnen Zeichen und verschmilzt immer wieder das häufigste Paar benachbarter Einheiten zu einer neuen. So entstehen mit der Zeit längere Bausteine.
- WordPiece: Ähnlich, aber die Auswahl der Verschmelzungen richtet sich danach, wie gut sie die Wahrscheinlichkeit der Trainingsdaten verbessern.
- Unigram: Es startet mit einem großen Vorrat an Kandidaten und streicht schrittweise jene, die am wenigsten nützen.
- SentencePiece: Ein Werkzeug, das solche Verfahren direkt auf Rohtext anwendet, ohne vorher Wörter an Leerzeichen zu trennen. Das ist praktisch für Sprachen ohne klare Wortgrenzen.
Moderne Varianten arbeiten auf Byte-Ebene. Dadurch kann jeder beliebige Text dargestellt werden, auch Emojis oder seltene Schriftzeichen, ohne dass etwas als „unbekannt“ verloren geht.
Vom Satz zur Zahlenfolge: ein Beispiel
Der Ablauf lässt sich in vier Schritten beschreiben:
- Der Text wird bereinigt und normalisiert, etwa bei Sonderzeichen oder Leerraum.
- Der Tokenizer teilt ihn anhand seiner gelernten Regeln in Tokens.
- Jedes Token bekommt seine Nummer aus dem Vokabular.
- Das Modell wandelt die Nummern in Embeddings um, also in Zahlenvektoren, die Bedeutung abbilden.
Erst ab dem vierten Schritt beginnt das eigentliche Rechnen. Wie die Architektur damit weiterarbeitet, schildert der Beitrag zur Transformer-Architektur.
Warum Deutsch mehr Tokens braucht
Die meisten Vokabulare entstehen aus Trainingsdaten, in denen Englisch dominiert. Englische Wörter sind dort gut abgedeckt und bleiben oft ganz. Deutsche Wörter, besonders lange Komposita, werden häufiger in mehrere Stücke geteilt. Derselbe Inhalt belegt deshalb auf Deutsch tendenziell mehr Tokens als auf Englisch.
Das hat praktische Folgen: Dieselbe Anfrage kostet bei Bezahldiensten mehr, und im Kontextfenster bleibt weniger Platz. Wie viel Text ein Modell auf einmal erfasst, behandelt der Beitrag zum Kontextfenster. Ein exaktes Verhältnis von Wörtern zu Tokens gibt es nicht, weil es vom Modell und vom Text abhängt.
| Texttyp | Neigung zur Zerlegung | Folge |
|---|---|---|
| Kurze, häufige Wörter | Meist ein Token | Günstig und schnell |
| Lange Komposita und Fachbegriffe | Mehrere Tokens | Mehr Verbrauch pro Satz |
| Eigennamen, Abkürzungen | Oft fragmentiert | Höheres Fehlerrisiko |
| Zahlen und Programmcode | Teils Ziffer für Ziffer | Lange Folgen, schwächeres Rechnen |
| Emojis, seltene Schrift | Mehrere Byte-Tokens | Auffallend hoher Verbrauch |
Was Tokens im Alltag bedeuten
Drei Dinge begegnen Ihnen praktisch ständig:
- Abrechnung: Cloud-Anbieter berechnen meist nach Tokens, getrennt für Eingabe und Ausgabe.
- Längenlimit: Das Kontextfenster zählt in Tokens, nicht in Wörtern oder Seiten. Lange Dokumente passen unter Umständen nicht in einem Stück hinein.
- Tempo: Ein Modell erzeugt Antworten Token für Token. Je mehr Tokens, desto länger dauert die Ausgabe.
Wer eine grobe Schätzung braucht, nutzt den Token-Rechner auf dieser Seite. Er hilft, Textlängen und Kosten vor einem Auftrag einzuordnen.
Typische Stolperfallen
Viele merkwürdige Fehler von Sprachmodellen gehen auf die Tokenisierung zurück. Wenn das Modell Buchstaben in einem Wort zählen soll, sieht es nicht die Buchstaben, sondern nur Bausteine. Dieselbe Ursache steckt hinter Schwächen bei Reimen, Anagrammen oder Rechenaufgaben mit langen Zahlen. Das ist kein Denkfehler im menschlichen Sinn, sondern eine Folge davon, dass die Eingabe schon vor dem Modell zerstückelt wurde.
Auch Leerzeichen und Groß- und Kleinschreibung können das Ergebnis verändern. „haus“, „Haus“ und „ Haus“ mit führendem Leerzeichen sind für manche Tokenizer unterschiedliche Einheiten. Wer Prompts präzise formuliert, profitiert davon, solche Details im Blick zu behalten. Hinweise zum Aufbau guter Anweisungen finden Sie unter Prompts schreiben.
Tokenizer in der klassischen Sprachverarbeitung
Der Begriff stammt nicht erst aus der Welt der Sprachmodelle. In der klassischen Computerlinguistik bedeutet Tokenisierung, einen Text in Wörter und Satzzeichen zu gliedern, als Vorstufe für Wortartenbestimmung oder Satzanalyse. Dort zählen linguistische Regeln: Ist „z. B.“ ein Token oder drei? Gehört der Punkt zum Wort oder beendet er einen Satz?
Diese Unterscheidung ist wichtig, denn die Tokens der Sprachmodelle sind statistisch gewonnene Bausteine, keine sprachlichen Einheiten. Wer Texte mit klassischen Verfahren auswertet, etwa beim Part-of-Speech-Tagging oder bei der Lemmatisierung, nutzt dafür andere Werkzeuge als die Tokenizer der Sprachmodelle. Passende Bibliotheken führt das Werkzeugverzeichnis in der Kategorie Tokenizer und Embeddings.
Kurz zusammengefasst für die Praxis
Behalten Sie vier Dinge im Kopf: Tokens sind Wortteile, kein Wort. Jedes Modell hat sein eigenes Vokabular. Deutsche Texte brauchen tendenziell mehr Tokens. Und viele Eigenheiten von Sprachmodellen lassen sich auf die Zerlegung zurückführen. Begriffe rund um dieses Feld erklärt das Lexikon im Zusammenhang.
Tokenizer ausprobieren
Das Zerlegen lässt sich leicht selbst nachvollziehen. Viele Anbieter stellen Seiten bereit, auf denen Sie einen Satz eingeben und farbig markiert sehen, wo die Grenzen zwischen den Tokens verlaufen. Probieren Sie dort verschiedene Texte aus: einen einfachen Alltagssatz, einen langen Fachbegriff, eine Telefonnummer und einen Satz mit Emoji.
Sie werden feststellen, dass bekannte Wörter sauber bleiben, während Ungewöhnliches in viele kleine Stücke zerfällt. Dieser Test erklärt besser als jede Theorie, warum manche Eingaben mehr verbrauchen als erwartet. Er zeigt auch, wie unterschiedlich zwei Modelle denselben Text zerlegen können.
Spezielle Tokens und Steuerzeichen
Neben den Wortbausteinen enthält jedes Vokabular einige reservierte Einträge. Sie steuern den Ablauf und haben keine Entsprechung im normalen Text:
- Anfang und Ende: Markierungen zeigen, wo eine Eingabe beginnt und das Modell aufhören soll zu schreiben.
- Rollen im Gespräch: Eigene Zeichen trennen Systemanweisung, Nutzerfrage und Modellantwort.
- Auffüllen: Platzhalter gleichen Folgen unterschiedlicher Länge aus, damit viele Eingaben gemeinsam berechnet werden können.
- Unbekanntes: Manche Verfahren führen ein Ersatzzeichen für alles, was nicht im Vokabular steht.
Diese Zeichen sind der Grund, warum Chat-Programme Eingaben in einem bestimmten Format erwarten. Passt die Formatierung nicht zum Modell, antwortet es schlechter, auch wenn der Inhalt stimmt.
Vokabulargröße: Ein Abwägen
Die Zahl der Einträge im Vokabular ist eine bewusste Entscheidung der Entwickler. Ein größeres Vokabular zerlegt Text in weniger, dafür gehaltvollere Stücke. Die Folgen werden kürzer, das Modell kommt schneller zum Ziel. Dafür braucht die Eingangs- und Ausgangsschicht mehr Parameter, und seltene Einträge werden im Training kaum gesehen.
Ein kleineres Vokabular spart Speicher, erzeugt aber längere Folgen und damit mehr Rechenaufwand pro Text. Es gibt keinen Idealwert. Modelle, die viele Sprachen beherrschen sollen, setzen meist auf ein größeres Vokabular, damit nicht jede Sprache außer Englisch benachteiligt wird.
Häufige Missverständnisse
Drei Annahmen kursieren immer wieder und stimmen nicht ganz. Ein Token ist nicht gleich ein Wort, auch wenn Faustformeln das nahelegen. Zwei Modelle zählen denselben Text unterschiedlich, deshalb lassen sich Kosten nicht einfach zwischen Anbietern übertragen. Und mehr Tokens bedeuten nicht automatisch mehr Information: Ein Text voller Sonderzeichen kann viele Tokens belegen und trotzdem wenig sagen.
Auch die Vorstellung, das Modell „lese“ Satz für Satz, trifft nur bedingt zu. Es verarbeitet die gesamte Tokenfolge innerhalb seines Fensters und gewichtet, welche Stellen füreinander wichtig sind. Wie das genau funktioniert, ist ein eigenes Thema.
Eigene Tokenizer für Fachsprachen
Für spezielle Bereiche wie Medizin, Recht oder historische Quellen können Teams eigene Vokabulare trainieren. Ein solcher Tokenizer lernt die Fachwörter als feste Einheiten und zerlegt sie seltener. Das senkt den Verbrauch und kann die Genauigkeit erhöhen. Der Aufwand ist allerdings hoch, weil das Modell dann ebenfalls neu trainiert oder zumindest angepasst werden muss. Für die meisten Anwendungen genügt es, einen vorhandenen Tokenizer zu verwenden und den Text sauber vorzubereiten.
Fragen und Antworten
Ist ein Token dasselbe wie ein Wort?
Nein. Ein Token kann ein Wort, ein Wortteil oder ein einzelnes Zeichen sein, je nach Vokabular des Modells.
Warum braucht Deutsch mehr Tokens als Englisch?
Die Vokabulare entstehen meist aus überwiegend englischen Daten. Deutsche Komposita werden daher häufiger in mehrere Stücke geteilt.
Kann ich Tokenizer verschiedener Modelle tauschen?
Nein. Jedes Modell wurde mit seinem eigenen Vokabular trainiert und versteht nur dessen Nummern.
Wofür zählen Tokens im Alltag?
Für die Abrechnung bei Cloud-Diensten, für das Längenlimit des Kontextfensters und für die Dauer der Ausgabe.