Definition
Stemming
Stemming reduziert Wörter auf ihren Wortstamm, indem Endungen und Vorsilben nach festen Regeln abgeschnitten werden.
Stemming ist ein regelbasiertes Verfahren, das Wortformen auf einen gemeinsamen Stamm zurückführt. Aus Häuser, Hauses und Haus wird so eine gemeinsame Form. Das Ergebnis muss kein echtes Wort sein, entscheidend ist nur, dass verwandte Formen zusammenfallen.
Das Verfahren ist schnell und robust, arbeitet aber grob. Es kann Wörter zusammenführen, die nichts miteinander zu tun haben, oder Verwandtes trennen. Deshalb ist es für Suchmaschinen beliebt, für Fachanalysen aber oft zu ungenau.
Die Lemmatisierung ist die sorgfältigere Alternative. Sie liefert echte Grundformen und ist für wissenschaftliche Auszählungen meist die bessere Wahl. Wer damit Ergebnisse auszählt, sollte die Trefferqualität an einer Stichprobe aus dem eigenen Material überprüfen.
Verwandte Begriffe
- LemmaLemma ist die Grundform eines Wortes, unter der alle seine flektierten Formen in einem Wörterbuch oder Korpus zusammengefasst werden.
- FrequenzlisteFrequenzliste ist eine nach Häufigkeit sortierte Übersicht der Wörter oder Tokens in einem Korpus.
- StoppwortStoppwort ist ein häufiges, inhaltsarmes Wort wie der oder und, das in Suche und Auswertung bewusst ausgeschlossen wird.
- NLPNLP ist das Forschungs- und Anwendungsfeld, in dem Computer natürliche Sprache verarbeiten, analysieren und erzeugen.