Direkt zum Inhalt
Text-Technology
Navigation

Lexikon A–Z

Lexikon der Texttechnologie: NLP, Korpus, Annotation, LLM

Fachbegriffe der Sprach-KI und Computerlinguistik, alphabetisch sortiert: erst die Definition in einem Satz, dann der Praxisbezug.

Seiten eines Wörterbuchs in Nahaufnahme
Foto: Thirdman / Pexels

Das Lexikon erklärt die Begriffe, die in Dokumentationen, Studien und Produktseiten ständig auftauchen. Jeder Eintrag beginnt mit einer knappen Definition. Danach folgt, wo der Begriff in der Praxis eine Rolle spielt und mit welchen anderen Begriffen er zusammenhängt.

Die Querverweise helfen beim Einarbeiten: Wer „Token“ nachschlägt, landet schnell bei „Tokenizer“, „Kontextfenster“ und „Embedding“. Zu den Begriffen gibt es passende Werkzeuge im Verzeichnis und vertiefende Ratgeber.

A

  • AnnotationAnnotation ist die Anreicherung von Texten mit zusätzlichen, maschinenlesbaren Informationen wie Wortarten, Strukturen oder Bedeutungen.
  • AttentionAttention, deutsch Aufmerksamkeit, ist der Mechanismus im Transformer, der jedem Token eine Gewichtung für die Bedeutung aller anderen Tokens zuweist.
  • Automatische ZusammenfassungAutomatische Zusammenfassung erzeugt aus einem längeren Text eine kürzere Fassung, die dessen wichtigste Aussagen wiedergibt.

B

  • BPEBPE, Byte-Pair-Encoding, ist ein Verfahren, das häufige Zeichenpaare schrittweise zu größeren Tokens zusammenfasst und so ein Vokabular bildet.
  • BenchmarkBenchmark ist ein standardisierter Prüfsatz aus Aufgaben und Musterlösungen, mit dem sich Sprachwerkzeuge vergleichbar bewerten lassen.
  • BiasBias ist eine systematische Verzerrung in Daten oder Modellen, durch die bestimmte Gruppen oder Sichtweisen bevorzugt werden.

C

  • ComputerlinguistikComputerlinguistik ist die Wissenschaft, die Sprache mit formalen Modellen und Computern untersucht und daraus Methoden für Anwendungen entwickelt.
  • ChunkingChunking zerlegt lange Dokumente in kleinere Abschnitte, die sich einzeln einbetten, durchsuchen und dem Modell übergeben lassen.
  • ChatbotChatbot ist ein Dialogsystem, das in natürlicher Sprache mit Menschen schreibt oder spricht und dabei oft ein Sprachmodell nutzt.

D

  • DependenzanalyseDependenzanalyse zerlegt einen Satz in Abhängigkeiten, bei denen jedes Wort einem übergeordneten Kopfwort zugeordnet wird.
  • DigitalisierungDigitalisierung meint in der Texttechnologie die Überführung gedruckter oder handschriftlicher Vorlagen in strukturierte, durchsuchbare digitale Texte.

E

  • EmbeddingEmbedding ist eine Darstellung von Wörtern, Sätzen oder Texten als Vektor aus Zahlen, in dem ähnliche Bedeutungen nahe beieinander liegen.
  • EvaluationEvaluation bezeichnet die systematische Prüfung, wie gut ein Sprachwerkzeug seine Aufgabe erfüllt, meist anhand von Messgrößen und Stichproben.

F

  • FeinabstimmungFeinabstimmung, auf Englisch Fine-Tuning, ist das weitere Training eines vortrainierten Modells auf einem kleineren, gezielten Datensatz.
  • FrequenzlisteFrequenzliste ist eine nach Häufigkeit sortierte Übersicht der Wörter oder Tokens in einem Korpus.

G

  • GoldstandardGoldstandard ist eine sorgfältig von Menschen erstellte Referenzannotation, an der automatische Ergebnisse gemessen werden.

H

  • HalluzinationHalluzination bezeichnet eine von einem Sprachmodell erzeugte Aussage, die plausibel klingt, aber nicht durch Fakten oder Quellen gedeckt ist.

K

  • KorpusKorpus ist eine systematisch zusammengestellte, digital vorliegende Sammlung von Texten für sprachwissenschaftliche Untersuchungen.
  • KontextfensterKontextfenster ist die maximale Menge an Tokens, die ein Sprachmodell in einer einzelnen Anfrage gleichzeitig berücksichtigen kann.
  • KollokationKollokation ist eine feste oder häufige Wortverbindung, deren Bestandteile bevorzugt zusammen auftreten, etwa eine Entscheidung treffen.
  • KonkordanzKonkordanz ist eine Auflistung aller Vorkommen eines Wortes in einem Text oder Korpus, jeweils mit seinem unmittelbaren Kontext.
  • KorpuslizenzKorpuslizenz regelt, unter welchen Bedingungen ein Textkorpus genutzt, weitergegeben und veröffentlicht werden darf.
  • KorpusabfrageKorpusabfrage ist eine gezielte Suche in einem Korpus nach Wörtern, Wortformen, Wortarten oder Strukturen.

L

  • LemmaLemma ist die Grundform eines Wortes, unter der alle seine flektierten Formen in einem Wörterbuch oder Korpus zusammengefasst werden.
  • LLMLLM steht für Large Language Model, ein sehr großes Sprachmodell, das auf umfangreichen Textmengen trainiert wurde und vielseitige Sprachaufgaben löst.
  • LesbarkeitLesbarkeit misst, wie leicht ein Text zu verstehen ist, meist über Satzlänge, Wortlänge und Schwierigkeit des Wortschatzes.

M

  • MarkupMarkup ist eine Auszeichnung im Text, die Struktur, Bedeutung oder Darstellung eines Textabschnitts kennzeichnet, ohne den Inhalt selbst zu verändern.
  • MetadatenMetadaten sind beschreibende Angaben über einen Text oder eine Datei, etwa Autor, Entstehungszeit, Quelle und Lizenz.
  • Maschinelle ÜbersetzungMaschinelle Übersetzung übersetzt Texte automatisch von einer Sprache in eine andere, heute meist mit neuronalen Modellen.

N

  • NLPNLP ist das Forschungs- und Anwendungsfeld, in dem Computer natürliche Sprache verarbeiten, analysieren und erzeugen.
  • Named Entity RecognitionNamed Entity Recognition erkennt in Texten Eigennamen wie Personen, Orte und Organisationen und ordnet sie einer Kategorie zu.
  • Neuronales NetzNeuronales Netz ist ein Modell aus vielen miteinander verbundenen Recheneinheiten, das Eingaben schrittweise in Ausgaben umwandelt und dabei lernt.

O

  • OCROCR, die optische Zeichenerkennung, wandelt gescannte Bilder von Schrift in maschinenlesbaren Text um.
  • OntologieOntologie ist ein formales Modell eines Wissensbereichs, das Begriffe, ihre Eigenschaften und ihre Beziehungen eindeutig festlegt.

P

  • PromptPrompt ist die Eingabe an ein Sprachmodell, mit der Aufgabe, Kontext und gewünschtes Format beschrieben werden.
  • PretrainingPretraining ist die erste, große Trainingsphase eines Sprachmodells auf allgemeinen Textmengen, in der es Sprache und Weltwissen grundlegend lernt.
  • Prompt-InjectionPrompt-Injection ist ein Angriff, bei dem in eingelesenen Texten versteckte Anweisungen das Verhalten eines Sprachmodells umlenken.

R

  • RAGRAG ist ein Verfahren, bei dem ein Sprachmodell vor der Antwort passende Dokumente aus einer eigenen Quelle abruft und diese in die Anfrage einbezieht.
  • RerankingReranking ordnet die zunächst gefundenen Treffer ein zweites Mal nach ihrer tatsächlichen Passung zur Anfrage neu.

S

  • SprachmodellSprachmodell ist ein statistisches oder neuronales Modell, das Wahrscheinlichkeiten für Wortfolgen berechnet und damit Text vorhersagt oder erzeugt.
  • StoppwortStoppwort ist ein häufiges, inhaltsarmes Wort wie der oder und, das in Suche und Auswertung bewusst ausgeschlossen wird.
  • StemmingStemming reduziert Wörter auf ihren Wortstamm, indem Endungen und Vorsilben nach festen Regeln abgeschnitten werden.
  • Standoff-AnnotationStandoff-Annotation speichert Zusatzinformationen getrennt vom Text, verknüpft über Positionen oder Kennungen, sodass der Originaltext unverändert bleibt.
  • SentimentanalyseSentimentanalyse erkennt die Grundstimmung eines Textes, also ob er positiv, negativ oder neutral formuliert ist.
  • SpracherkennungSpracherkennung wandelt gesprochene Sprache in geschriebenen Text um.
  • SemantikSemantik ist die Lehre von der Bedeutung sprachlicher Ausdrücke, die in der Computerlinguistik als Modell des Sinns von Wörtern und Sätzen umgesetzt wird.
  • SyntaxbaumSyntaxbaum ist eine baumartige Darstellung des grammatischen Aufbaus eines Satzes, die zeigt, welche Wortgruppen zusammengehören.
  • SuchindexSuchindex ist eine vorab erstellte Datenstruktur, die zu jedem Wort oder Token die Dokumente nachschlagbar macht, in denen es vorkommt.
  • StilanalyseStilanalyse untersucht mit messbaren Merkmalen wie Satzlänge, Wortwahl und Satzbau, wie ein Text geschrieben ist.
  • SprachwandelSprachwandel ist die dauerhafte Veränderung von Wortbedeutungen, Grammatik und Schreibweise im Lauf der Zeit.

T

  • TokenToken ist die kleinste Einheit, in die ein Sprachmodell Text zerlegt, bevor es ihn verarbeitet.
  • TransformerTransformer ist eine neuronale Netzwerkarchitektur, die Beziehungen zwischen allen Elementen einer Eingabe über sogenannte Aufmerksamkeit gewichtet.
  • TEITEI ist ein Standard aus XML-Auszeichnungen, mit dem Forschende Texte wie Editionen, Briefe und Handschriften strukturiert erfassen.
  • TokenizerTokenizer ist das Programm, das Text nach festen Regeln in Tokens zerlegt und jedem Token eine eindeutige Kennung zuweist.
  • TagsetTagset ist das festgelegte Verzeichnis aller Kategorien, mit denen ein Text annotiert wird, etwa Wortarten oder Satzglieder.
  • TextklassifikationTextklassifikation ordnet Texte automatisch vorgegebenen Kategorien zu, etwa Themen, Textsorten oder Dringlichkeitsstufen.
  • TrainingsdatenTrainingsdaten sind die Beispiele, aus denen ein Modell Muster lernt, und bestimmen wesentlich, was es später gut oder schlecht kann.

U

  • UnicodeUnicode ist der internationale Standard, der jedem Schriftzeichen einer Schrift eine eindeutige Kennung zuweist und damit Texte weltweit vergleichbar macht.
  • Überwachtes LernenÜberwachtes Lernen trainiert ein Modell mit Beispielen, die bereits die richtige Antwort enthalten.
  • Unüberwachtes LernenUnüberwachtes Lernen findet Muster in Daten ohne vorgegebene richtige Antworten, etwa Gruppen ähnlicher Texte.

V

  • VektordatenbankVektordatenbank ist ein Speichersystem, das Embeddings ablegt und die ähnlichsten Vektoren zu einer Anfrage schnell findet.

W

  • WortartWortart ist die grammatische Kategorie eines Wortes, etwa Substantiv, Verb oder Adjektiv, die in der Wortartenbestimmung automatisch zugewiesen wird.
  • WortsinnWortsinn ist eine von mehreren möglichen Bedeutungen eines Wortes, die im konkreten Text gemeint ist.
  • WortschatzWortschatz ist die Gesamtheit der Wörter einer Sprache, eines Textes, eines Autors oder eines Korpus.
  • WortnetzWortnetz ist eine lexikalische Datenbank, die Wörter nach Bedeutungsbeziehungen wie Synonymie, Oberbegriff und Gegenteil miteinander verknüpft.
  • WissensgraphWissensgraph ist ein Netz aus Entitäten und Beziehungen, in dem Wissen als Knoten und Verbindungen gespeichert wird.
  • WebcrawlingWebcrawling ist das automatische Abrufen und Durchsuchen von Webseiten, um Texte für Korpora oder Suchindizes zu sammeln.

X

  • XMLXML ist eine Auszeichnungssprache, mit der Daten und Textstrukturen in ineinander verschachtelten, benannten Elementen beschrieben werden.

Z

  • ZeichenkodierungZeichenkodierung legt fest, wie Buchstaben und Sonderzeichen als Bytes gespeichert werden, und ist Voraussetzung für korrekt lesbare Texte.
  • Zero-ShotZero-Shot bezeichnet die Lösung einer Aufgabe ohne eigene Beispiele, allein auf Grundlage der Anweisung und des vortrainierten Wissens.