Definition
BPE
BPE, Byte-Pair-Encoding, ist ein Verfahren, das häufige Zeichenpaare schrittweise zu größeren Tokens zusammenfasst und so ein Vokabular bildet.
Byte-Pair-Encoding startet mit einzelnen Zeichen und fügt in jedem Schritt das am häufigsten nebeneinander stehende Paar zu einem neuen Token zusammen. Nach vielen Wiederholungen entsteht ein Vokabular aus ganzen Wörtern, Wortstämmen und Silben. Seltene Wörter lassen sich so aus bekannten Bausteinen zusammensetzen.
Das Verfahren ist beliebt, weil es ohne Wörterbuch auskommt und mit jeder Sprache funktioniert. Gleichzeitig hängt das Ergebnis stark von den Trainingsdaten ab. Ein Vokabular, das überwiegend auf Englisch gelernt wurde, zerlegt deutsche Texte oft in mehr und kleinere Stücke.
Für Fachtexte ist das relevant, weil Fachbegriffe dann schlechter erfasst werden können, wenn sie im Trainingsmaterial selten vorkamen.
Verwandte Begriffe
- TokenizerTokenizer ist das Programm, das Text nach festen Regeln in Tokens zerlegt und jedem Token eine eindeutige Kennung zuweist.
- TokenToken ist die kleinste Einheit, in die ein Sprachmodell Text zerlegt, bevor es ihn verarbeitet.
- KontextfensterKontextfenster ist die maximale Menge an Tokens, die ein Sprachmodell in einer einzelnen Anfrage gleichzeitig berücksichtigen kann.
- KorpusKorpus ist eine systematisch zusammengestellte, digital vorliegende Sammlung von Texten für sprachwissenschaftliche Untersuchungen.