Direkt zum Inhalt
Text-Technology
Navigation

NLP-Bibliotheken

SoMaJo: Tokenisierer und Satzteiler

SoMaJo gehört zu den 120 Einträgen im Verzeichnis und steht in der Kategorie NLP-Bibliotheken.

Gang in einem Rechenzentrum mit blauem Licht
Foto: panumas nikhomkhai / Pexels

Zu SoMaJo hält das Verzeichnis Angaben zu Art, Einsatz, Deutsch-Unterstützung und Betrieb bereit. Die Art lautet Tokenisierer und Satzteiler. Einsatzgebiet: Tokenisierung deutscher Webtexte. Lokaler Betrieb: ja. Zum Deutschen: ja (für Deutsch entwickelt).

Für Lizenzfragen ist die Projektseite https://github.com/tsproisl/SoMaJo die maßgebliche Stelle. Wer SoMaJo ausprobieren oder genauer prüfen will, beginnt auf der Website https://github.com/tsproisl/SoMaJo.

Was die Zahlen zeigen

  • Verwendet für: Tokenisierung deutscher Webtexte.
  • Alternativen aus NLP-Bibliotheken: spaCy, Hugging Face Transformers, NLTK.
  • Offene Lizenz in dieser Kategorie: 10 von 13 Einträgen.
  • Lizenzrechtlich vergleichbar (GPL): Stanford CoreNLP.
  • Sprachangabe (Deutsch): ja (für Deutsch entwickelt).
  • Ohne Cloud nutzbar? ja.

Daten im Überblick

Kategorie
NLP-Bibliotheken
Art
Tokenisierer und Satzteiler
Entwickelt von
Thomas Proisl
Lizenz
GPL-3.0
Programmiersprache
Python
Deutsch-Unterstützung
ja (für Deutsch entwickelt)
Lokal nutzbar
ja
Typischer Einsatz
Tokenisierung deutscher Webtexte
Website
github.com
Quellcode
github.com

Einsatzzweck von SoMaJo

Die Einordnung als Tokenisierer und Satzteiler folgt dem Hauptzweck, den die Projektseite nennt. Typische Aufgaben: Tokenisierung deutscher Webtexte.

Eine Probe mit eigenen Beispieltexten sagt mehr als jede Beschreibung. Die Kategorieseite zu NLP-Bibliotheken führt alle Einträge mit denselben Feldern nebeneinander auf.

Deutsche Texte und lokale Nutzung

Zur Deutsch-Unterstützung steht im Verzeichnis: ja (für Deutsch entwickelt). Für deutsche Texte lohnt ein Test mit Umlauten, langen Komposita und Fachbegriffen.

Betriebsart: ja. Die Betriebsart wirkt sich auf Datenschutz, Kosten und Wartungsaufwand aus.

Woher die Angaben zu SoMaJo stammen

Zur rechtlichen Nutzung führt das Verzeichnis keine Auslegung, die Bedingungen stehen auf https://github.com/tsproisl/SoMaJo. Angaben ohne Beleg wurden gestrichen, die übrigen stammen aus der genannten Quelle.

Versionen und Funktionen ändern sich schnell, maßgeblich bleibt die Projektseite https://github.com/tsproisl/SoMaJo. Wer einen Fehler entdeckt, meldet ihn über die Kontaktseite mit Beleg.

Fragen und Antworten

Unter welcher Lizenz steht SoMaJo?

SoMaJo steht laut Projekt unter der Lizenz „GPL-3.0“. Die verbindlichen Bedingungen stehen auf https://github.com/tsproisl/SoMaJo.

Eignet sich SoMaJo für deutschsprachige Texte?

Antwort des Verzeichnisses: ja (für Deutsch entwickelt).

Läuft SoMaJo auf dem eigenen Rechner?

Der Eintrag im Feld „Lokal nutzbar“ lautet: ja.

Für welche Zwecke eignet sich SoMaJo?

Kurz: Tokenisierung deutscher Webtexte. Art laut Projekt: Tokenisierer und Satzteiler.

Welche Alternativen zu SoMaJo gibt es?

In der Kategorie NLP-Bibliotheken stehen die nächsten Vergleichsfälle, jeweils mit denselben Feldern.

Weitere Einträge

Woher die Angaben stammen

Datenstand: Angaben geprüft auf github.com, 05.11.2026

Letzte Prüfung: 5. November 2026