NLP-Bibliotheken
SoMaJo: Tokenisierer und Satzteiler
SoMaJo gehört zu den 120 Einträgen im Verzeichnis und steht in der Kategorie NLP-Bibliotheken.

Zu SoMaJo hält das Verzeichnis Angaben zu Art, Einsatz, Deutsch-Unterstützung und Betrieb bereit. Die Art lautet Tokenisierer und Satzteiler. Einsatzgebiet: Tokenisierung deutscher Webtexte. Lokaler Betrieb: ja. Zum Deutschen: ja (für Deutsch entwickelt).
Für Lizenzfragen ist die Projektseite https://github.com/tsproisl/SoMaJo die maßgebliche Stelle. Wer SoMaJo ausprobieren oder genauer prüfen will, beginnt auf der Website https://github.com/tsproisl/SoMaJo.
Was die Zahlen zeigen
- Verwendet für: Tokenisierung deutscher Webtexte.
- Alternativen aus NLP-Bibliotheken: spaCy, Hugging Face Transformers, NLTK.
- Offene Lizenz in dieser Kategorie: 10 von 13 Einträgen.
- Lizenzrechtlich vergleichbar (GPL): Stanford CoreNLP.
- Sprachangabe (Deutsch): ja (für Deutsch entwickelt).
- Ohne Cloud nutzbar? ja.
Daten im Überblick
- Kategorie
- NLP-Bibliotheken
- Art
- Tokenisierer und Satzteiler
- Entwickelt von
- Thomas Proisl
- Lizenz
- GPL-3.0
- Programmiersprache
- Python
- Deutsch-Unterstützung
- ja (für Deutsch entwickelt)
- Lokal nutzbar
- ja
- Typischer Einsatz
- Tokenisierung deutscher Webtexte
- Website
- github.com
- Quellcode
- github.com
Einsatzzweck von SoMaJo
Die Einordnung als Tokenisierer und Satzteiler folgt dem Hauptzweck, den die Projektseite nennt. Typische Aufgaben: Tokenisierung deutscher Webtexte.
Eine Probe mit eigenen Beispieltexten sagt mehr als jede Beschreibung. Die Kategorieseite zu NLP-Bibliotheken führt alle Einträge mit denselben Feldern nebeneinander auf.
Deutsche Texte und lokale Nutzung
Zur Deutsch-Unterstützung steht im Verzeichnis: ja (für Deutsch entwickelt). Für deutsche Texte lohnt ein Test mit Umlauten, langen Komposita und Fachbegriffen.
Betriebsart: ja. Die Betriebsart wirkt sich auf Datenschutz, Kosten und Wartungsaufwand aus.
Woher die Angaben zu SoMaJo stammen
Zur rechtlichen Nutzung führt das Verzeichnis keine Auslegung, die Bedingungen stehen auf https://github.com/tsproisl/SoMaJo. Angaben ohne Beleg wurden gestrichen, die übrigen stammen aus der genannten Quelle.
Versionen und Funktionen ändern sich schnell, maßgeblich bleibt die Projektseite https://github.com/tsproisl/SoMaJo. Wer einen Fehler entdeckt, meldet ihn über die Kontaktseite mit Beleg.
Fragen und Antworten
Unter welcher Lizenz steht SoMaJo?
SoMaJo steht laut Projekt unter der Lizenz „GPL-3.0“. Die verbindlichen Bedingungen stehen auf https://github.com/tsproisl/SoMaJo.
Eignet sich SoMaJo für deutschsprachige Texte?
Antwort des Verzeichnisses: ja (für Deutsch entwickelt).
Läuft SoMaJo auf dem eigenen Rechner?
Der Eintrag im Feld „Lokal nutzbar“ lautet: ja.
Für welche Zwecke eignet sich SoMaJo?
Kurz: Tokenisierung deutscher Webtexte. Art laut Projekt: Tokenisierer und Satzteiler.
Welche Alternativen zu SoMaJo gibt es?
In der Kategorie NLP-Bibliotheken stehen die nächsten Vergleichsfälle, jeweils mit denselben Feldern.
Weitere Einträge
- jina-embeddings-v2-base-deTokenizer & Embeddings
- CalamariOCR & Digitalisierung
- HanTaNLP-Bibliotheken
Woher die Angaben stammen
Datenstand: Angaben geprüft auf github.com, 05.11.2026
Letzte Prüfung: 5. November 2026