Definition
Zeichenkodierung
Zeichenkodierung legt fest, wie Buchstaben und Sonderzeichen als Bytes gespeichert werden, und ist Voraussetzung für korrekt lesbare Texte.
Eine Zeichenkodierung ordnet jedem Zeichen eine Folge von Bytes zu. Wer die falsche Kodierung annimmt, sieht aus Umlauten Fehlzeichen, etwa bei einer Datei, die als alte westeuropäische Kodierung gelesen wird, obwohl sie in der Unicode-Kodierung UTF gespeichert ist. Das Problem wirkt harmlos, zerstört aber Suche, Sortierung und Auswertung.
Im deutschen Sprachraum ist die Unicode-Kodierung UTF heute der Standard, weil es Umlaute, das scharfe s und alle anderen Schriftzeichen zuverlässig abdeckt. Auch Sonderzeichen aus Fachtexten brauchen eine Kodierung, die sie vollständig führt.
Für Korpora ist es ratsam, die Kodierung festzulegen, zu dokumentieren und beim Import zu prüfen, statt sie zu raten.
Verwandte Begriffe
- UnicodeUnicode ist der internationale Standard, der jedem Schriftzeichen einer Schrift eine eindeutige Kennung zuweist und damit Texte weltweit vergleichbar macht.
- KorpusKorpus ist eine systematisch zusammengestellte, digital vorliegende Sammlung von Texten für sprachwissenschaftliche Untersuchungen.
- XMLXML ist eine Auszeichnungssprache, mit der Daten und Textstrukturen in ineinander verschachtelten, benannten Elementen beschrieben werden.
- TokenToken ist die kleinste Einheit, in die ein Sprachmodell Text zerlegt, bevor es ihn verarbeitet.