Direkt zum Inhalt
Text-Technology
Navigation

Tokenizer & Embeddings

SentencePiece: Tokenizer und Detokenizer

Unter 120 Werkzeugen und Modellen ist SentencePiece der Kategorie Tokenizer & Embeddings zugeordnet, die Art laut Projektseite lautet Tokenizer und Detokenizer.

Gang in einem Rechenzentrum mit blauem Licht
Foto: panumas nikhomkhai / Pexels

Zu SentencePiece hält das Verzeichnis Angaben zu Art, Einsatz, Deutsch-Unterstützung und Betrieb bereit. Die Art lautet Tokenizer und Detokenizer. Im Alltag kommt SentencePiece hier zum Einsatz: Subword-Tokenisierung ohne Vorverarbeitung. Eingetragen sind außerdem die Angabe zum Deutschen („sprachunabhängig“) und zur lokalen Nutzung („ja“).

Lizenzangabe: Apache 2.0. Die Bedingungen im Detail stehen auf der Projektseite. Wer SentencePiece ausprobieren oder genauer prüfen will, beginnt auf der Website https://github.com/google/sentencepiece.

Was die Zahlen zeigen

  • 9 der 10 Einträge in Tokenizer & Embeddings stehen unter einer offenen Lizenz.
  • Implementierung: C++.
  • Weitere Einträge in Tokenizer & Embeddings: Sentence-Transformers, word2vec, fastText.
  • Ersterscheinung laut Verzeichnis: 2018.
  • Später als SentencePiece kamen in Tokenizer & Embeddings 3 der 7 datierten Projekte auf den Markt.
  • Einsatzfelder: Subword-Tokenisierung ohne Vorverarbeitung.

Daten im Überblick

Kategorie
Tokenizer & Embeddings
Art
Tokenizer und Detokenizer
Entwickelt von
Google
Erstmals veröffentlicht
2018
Lizenz
Apache 2.0
Programmiersprache
C++
Deutsch-Unterstützung
sprachunabhängig
Lokal nutzbar
ja
Typischer Einsatz
Subword-Tokenisierung ohne Vorverarbeitung
Website
github.com
Quellcode
github.com

Was SentencePiece leistet

Die Art Tokenizer und Detokenizer bestimmt, mit welchen anderen Einträgen der Kategorie Tokenizer & Embeddings sich SentencePiece sinnvoll vergleichen lässt. Die Aufgaben, für die SentencePiece laut Eintrag taugt: Subword-Tokenisierung ohne Vorverarbeitung.

Eine Probe mit eigenen Beispieltexten sagt mehr als jede Beschreibung. Zum Vergleichen lohnt der Blick auf die übrigen Einträge der Kategorie Tokenizer & Embeddings.

Betriebsart und Sprachunterstützung

Deutsch-Fähigkeit laut Eintrag: sprachunabhängig. Mehrsprachige Angebote sind bei Deutsch nicht automatisch so gut wie bei Englisch.

Betriebsart: ja. Lokaler Betrieb braucht eigene Hardware und Pflege, Cloud-Dienste verlagern beides zum Anbieter.

Lizenz und Belege

Die Lizenz ist im Verzeichnis mit „Apache 2.0“ eingetragen. Geprüft wurden die Angaben am 05.11.2026 gegen Projektseite, Repository oder Wikipedia.

Das Verzeichnis hält bewusst keine Versionsnummern fest, weil sie schnell veralten. Wer einen Fehler entdeckt, meldet ihn über die Kontaktseite mit Beleg.

Fragen und Antworten

Wie ist SentencePiece lizenziert?

Lizenzfragen klärt die Projektseite https://github.com/google/sentencepiece, sie ist die maßgebliche Quelle.

Eignet sich SentencePiece für deutschsprachige Texte?

Antwort des Verzeichnisses: sprachunabhängig.

Lässt sich SentencePiece lokal betreiben?

Lokaler Betrieb: ja. Welche Hardware nötig ist, steht in der Dokumentation des Projekts.

Wofür wird SentencePiece eingesetzt?

Einsatzfelder: Subword-Tokenisierung ohne Vorverarbeitung. Mehr Details bietet die Website https://github.com/google/sentencepiece.

Zu welcher Kategorie gehört SentencePiece?

Vergleichbar sind vor allem Einträge derselben Kategorie (Tokenizer & Embeddings). Deutsch-Unterstützung und lokale Nutzung stehen bei allen im selben Format.

Weitere Einträge

Woher die Angaben stammen

Datenstand: Angaben geprüft auf github.com, 05.11.2026

Letzte Prüfung: 5. November 2026