Kategorie
Tokenizer & Embeddings: Werkzeuge und Modelle
10 Werkzeuge und Modelle stehen in der Kategorie Tokenizer & Embeddings. Werkzeuge und Modelle, die Text in Token und Vektoren überführen.

Die Kategorie Tokenizer & Embeddings enthält im Verzeichnis 10 Einträge. Der Zuschnitt der Kategorie: Werkzeuge und Modelle, die Text in Token und Vektoren überführen. Vergleichbar werden die Einträge durch feste Felder wie Lizenz, Erscheinungsjahr, Deutsch-Unterstützung und lokale Nutzung.
Von allen erfassten Einträgen entfallen 10 auf Tokenizer & Embeddings, verteilt wird auf 13 Kategorien. Angaben ohne Beleg sind gestrichen, die Quelle steht bei jedem Eintrag.
Was die Zahlen zeigen
- Gegenüber dem Durchschnitt von 9 Einträgen beträgt die Abweichung 8 %.
- Im Umfangsvergleich steht Tokenizer & Embeddings auf Rang 4 von 13.
- Umfang: 10 Einträge.
- Gesamtzahl der Kategorien: 13.
- Das gehört hinein: Werkzeuge und Modelle, die Text in Token und Vektoren überführen.
- Vergleichswert zum Umfang: mittel.
Daten im Überblick
- Einträge im Verzeichnis
- 10
- Worum es geht
- Werkzeuge und Modelle, die Text in Token und Vektoren überführen.
Werkzeuge & Modelle vor Ort
B
- BGE-M3Tokenizer & Embeddings
F
- fastTextTokenizer & Embeddings
G
- GloVeTokenizer & Embeddings
H
- Hugging Face TokenizersTokenizer & Embeddings
J
- jina-embeddings-v2-base-deTokenizer & Embeddings
O
- OpenAI EmbeddingsTokenizer & Embeddings
S
- Sentence-TransformersTokenizer & Embeddings
- SentencePieceTokenizer & Embeddings
T
- tiktokenTokenizer & Embeddings
W
- word2vecTokenizer & Embeddings
Tokenizer & Embeddings: Aufgaben der Werkzeuge
Die Kategorie deckt diesen Bereich ab. Werkzeuge und Modelle, die Text in Token und Vektoren überführen. Maßgeblich für die Einordnung ist, wie das Projekt sich selbst beschreibt.
Von den 10 Einträgen lässt sich jeder einzeln aufrufen. Auf den Seiten steht auch, wo sich die Angaben nachprüfen lassen.
Kriterien für Tokenizer & Embeddings
Am Anfang steht die Aufgabe, erst danach die Frage nach dem passenden Werkzeug. Die Felder Lizenz, Deutsch-Unterstützung und lokale Nutzung grenzen die Auswahl schnell ein.
In der Tabelle stehen die wichtigsten Felder aller Einträge in einer Zeile. Ob ein Werkzeug taugt, zeigt sich erst an den eigenen Daten.
Stand und Quellen der Angaben
Alle Einträge der Kategorie wurden am 05.11.2026 einzeln geprüft. Als Quellen dienen Projektseiten, Quellcode-Repositories und Wikipedia.
Eingestellte Projekte stehen nicht mehr im Verzeichnis. Die Methodik-Seite beschreibt das Vorgehen im Detail.
Fragen und Antworten
Wie viele Einträge stehen unter Tokenizer & Embeddings?
10 Einträge, damit liegt Tokenizer & Embeddings auf Rang 4 von 13 Kategorien.
Wofür steht die Kategorie Tokenizer & Embeddings?
Werkzeuge und Modelle, die Text in Token und Vektoren überführen.
Was entscheidet bei Tokenizer & Embeddings über die Auswahl?
Zuerst Anforderungen festlegen, dann die Felder Lizenz, Sprache und Betrieb vergleichen.
Wie aktuell sind die Einträge von Tokenizer & Embeddings?
Die Angaben stammen aus Projektseiten, Repositories und Wikipedia, geprüft am 05.11.2026.
Wo finde ich Alternativen außerhalb von Tokenizer & Embeddings?
Das Verzeichnis hat 13 Kategorien, die Übersicht zeigt alle nebeneinander.
Weitere Einträge
- SprachmodelleEinträge 12
- Markup-Standards & FormateEinträge 10
- RAG & VektordatenbankenEinträge 10
- AnnotationEinträge 8
- ForschungsinfrastrukturEinträge 8
- Lokale LLM-WerkzeugeEinträge 8
Woher die Angaben stammen
Datenstand: Stand 05.11.2026
Letzte Prüfung: 5. November 2026