Direkt zum Inhalt
Text-Technology
Navigation

Annotation

Data Annotation: Daten für KI richtig beschriften

Data Annotation macht aus Rohdaten Trainingsmaterial: Menschen versehen Texte, Bilder oder Audio mit Etiketten, damit Modelle daraus lernen. Entscheidend sind klare Richtlinien und eine Qualitätskontrolle.

Zuletzt überarbeitet · Redaktion Text-Technology

Person am Bildschirm beim Beschriften von Daten für ein KI-Modell
Foto: RDNE Stock project / Pexels

Kurzantwort: Data Annotation heißt, Rohdaten wie Texte, Bilder oder Audio mit Etiketten zu versehen, damit ein KI-Modell daraus lernen kann. Gute Ergebnisse entstehen durch klare Richtlinien, mehrere unabhängige Beschriftende und regelmäßige Qualitätsprüfungen. Ohne diese Schritte lernt ein Modell die Fehler seiner Trainingsdaten mit.

Was Data Annotation bedeutet

Ein Modell für maschinelles Lernen erkennt Muster nur dann zuverlässig, wenn es Beispiele mit bekannter Lösung gesehen hat. Diese Lösung liefern Menschen, indem sie Daten beschriften. In einem Text markieren sie etwa Personennamen, bei einer Rezension die Stimmung, bei einem Foto die Gegenstände.
Das Ergebnis nennt man annotierte Daten, die einzelnen Etiketten Labels oder Tags. Aus einer Sammlung davon entsteht ein Trainings- und Testdatensatz.

Bei Texten spricht die Sprachwissenschaft seit Langem von Annotation. Dort werden Wortarten, Satzbau oder Bedeutungen ergänzt. Mit der Verbreitung lernender Verfahren ist der Begriff in die Industrie gewandert und umfasst heute auch Bilder, Sprache und Sensordaten.

Arten der Annotation bei Texten

Je nach Aufgabe unterscheidet man mehrere Ebenen. Die folgende Tabelle ordnet sie qualitativ ein:

Art Was wird markiert? Typisches Einsatzfeld
Klassifikation Ein Etikett für den ganzen Text Themen, Spam, Stimmung
Spannen-Auszeichnung Abschnitte innerhalb eines Satzes Namen, Orte, Firmen
Beziehungen Verbindungen zwischen markierten Stellen Wer tut was mit wem
Syntax Wortarten und Satzstruktur Grammatikanalyse
Rangfolge Bewertung mehrerer Modellantworten Feinabstimmung von Sprachmodellen

Ein Beispiel für die Spannen-Auszeichnung ist die Erkennung von Namen und Firmen. Wie das automatisiert wird, beschreibt der Ratgeber zur Named Entity Recognition.

So läuft ein Annotationsprojekt ab

Wer Daten beschriften lässt, sollte in festen Schritten vorgehen. Das spart später teure Korrekturen.

  1. Ziel festlegen: Welche Entscheidung soll das Modell später treffen? Daraus folgt, welche Etiketten überhaupt nötig sind.
  2. Daten auswählen: Der Ausschnitt sollte die spätere Anwendung abbilden, nicht nur die leichten Fälle.
  3. Richtlinien schreiben: Jede Kategorie bekommt eine Definition, Beispiele und Gegenbeispiele.
  4. Probelauf: Eine kleine Menge wird von mehreren Personen unabhängig beschriftet. Die Abweichungen zeigen, wo die Regeln unklar sind.
  5. Richtlinien nachschärfen: Unklare Fälle werden entschieden und dokumentiert.
  6. Hauptlauf mit Kontrolle: Stichproben werden laufend geprüft, Einzelne bekommen Rückmeldung.
  7. Abschluss und Dokumentation: Der fertige Datensatz erhält eine Beschreibung mit Version, Regeln und bekannten Schwächen.

Richtlinien: das wichtigste Dokument

Die meisten Qualitätsprobleme entstehen nicht durch Nachlässigkeit, sondern durch unklare Anweisungen. Ist „Stimmung“ nur positiv und negativ, oder gibt es auch neutral? Zählt Ironie als negativ? Wie behandelt man Sätze, die zwei Aussagen enthalten?

Gute Richtlinien beantworten solche Fragen vorab. Sie sind kurz genug, um gelesen zu werden, und enthalten eine Liste der Grenzfälle mit der jeweiligen Entscheidung. Wer Daten für Sprachmodelle erzeugt, schreibt dort oft auch fest, welche Antworten als hilfreich und welche als unangemessen gelten.

Qualität messen: Übereinstimmung statt Bauchgefühl

Ob eine Beschriftung stimmt, lässt sich oft nicht gegen eine „Wahrheit“ prüfen, weil es keine gibt. Deshalb misst man, wie sehr unabhängige Beschriftende übereinstimmen. Dafür gibt es statistische Kennzahlen, die den Zufall herausrechnen. Eine niedrige Übereinstimmung deutet entweder auf missverständliche Regeln oder auf eine Aufgabe hin, die in sich mehrdeutig ist.

Ergänzend dienen diese Verfahren:

  • Goldstandard: Eine kleine Menge, die Fachleute besonders sorgfältig beschriftet haben, dient als Prüfstein.
  • Doppelte Beschriftung: Wichtige oder schwierige Beispiele werden mehrfach vergeben und anschließend abgeglichen.
  • Schlichtung: Bei Widersprüchen entscheidet eine dritte, erfahrene Person.
  • Stichprobenprüfung: Ein Teil jeder Lieferung wird nachkontrolliert.

Menschen, Modelle und der Mittelweg

Rein manuelle Beschriftung ist genau, aber langsam. Deshalb setzen viele Teams auf eine Mischung. Ein bereits vorhandenes Modell macht Vorschläge, und Menschen bestätigen oder korrigieren sie. Das beschleunigt die Arbeit, birgt aber eine Gefahr: Wer Vorschläge nur noch abnickt, übernimmt deren Fehler. Wichtig sind deshalb Stichproben ohne Vorschlag und eine Dokumentation, was maschinell vorbelegt war.

Auch große Sprachmodelle werden inzwischen zum Vorannotieren genutzt. Sie sind schnell und flexibel, liefern aber nicht immer konsistente Etiketten und können Sachverhalte erfinden, wie der Beitrag zu Halluzinationen erläutert. Für kritische Datensätze bleibt die menschliche Prüfung unverzichtbar.

Werkzeuge für die Beschriftung

Annotationswerkzeuge zeigen die Daten, nehmen die Etiketten entgegen und verwalten Benutzer, Aufgaben und Exporte. Es gibt Programme für den eigenen Rechner, Lösungen für den Server im Team und Cloud-Dienste. Worauf Sie bei der Auswahl achten sollten:

  • unterstützte Datenarten (Text, Bild, Audio, Video)
  • Rollen und Rechte für mehrere Beschriftende
  • Exportformate, die sich in Ihre Trainingspipeline einlesen lassen
  • Möglichkeit, Modellvorschläge einzubinden
  • Datenschutz: wo die Daten liegen und wer Zugriff hat

Eine Auswahl finden Sie in der Kategorie Annotation im Verzeichnis der Werkzeuge. Für wissenschaftliche Texte ist außerdem ein Standard verbreitet, der Auszeichnungen direkt im Dokument ablegt, wie bei der Auszeichnung mit TEI-XML.

Datenschutz und Fairness

Texte enthalten oft persönliche Angaben. Bevor sie an externe Beschriftende gehen, sollten sie anonymisiert oder auf das Nötige gekürzt werden. Auch die Arbeitsbedingungen gehören zum Thema: Wer belastende Inhalte beschriftet, braucht klare Regeln, Pausen und Unterstützung.

Beim Inhalt selbst schlagen Verzerrungen durch. Beschriften nur Menschen aus einer bestimmten Gruppe, spiegelt der Datensatz deren Sicht. Vielfalt im Team und offen dokumentierte Entscheidungen verringern dieses Risiko, beseitigen es aber nicht.

Häufige Fehler vermeiden

  • Mit der Beschriftung beginnen, bevor das Ziel klar ist.
  • Kategorien zu fein anlegen, sodass sie niemand zuverlässig trennen kann.
  • Richtlinien nachträglich ändern, ohne bereits Beschriftetes anzupassen.
  • Testdaten und Trainingsdaten vermischen.
  • Keine Dokumentation über Herkunft und Version der Daten führen.

Wann sich das Beschriften lohnt

Nicht jedes Vorhaben braucht eigene annotierte Daten. Für viele Aufgaben genügen heute vortrainierte Modelle mit guten Anweisungen. Eigene Beschriftung lohnt sich, wenn Ihr Fachgebiet speziell ist, wenn Fehler teuer sind oder wenn Sie ein Modell messbar prüfen müssen. Auch zum Testen sind selbst kleine, sauber beschriftete Mengen wertvoll. Die Abwägung zwischen Training und Dokumentenzugriff behandelt der Beitrag Fine-Tuning oder RAG. Begriffe wie Label, Goldstandard oder Trainingsdatensatz sind außerdem im Lexikon erklärt.

Beispiel: Ein kleines Projekt aus dem Büroalltag

Ein Team möchte eingehende Kundenmails automatisch in Themen sortieren, etwa Rechnungsfragen, Lieferprobleme und Vertragsänderungen. Zuerst legt es fest, dass jede Mail genau ein Hauptthema erhält. Dann sammelt es einen Querschnitt echter Nachrichten, auch solche mit mehreren Anliegen oder unklaren Formulierungen.

Zwei Personen beschriften zunächst eine kleine Menge unabhängig voneinander. Beim Vergleich zeigt sich, dass „Lieferverzug“ und „Beschädigung“ ständig verwechselt werden, weil viele Mails beides ansprechen. Das Team ergänzt in den Richtlinien die Regel, dass das zuerst genannte Anliegen zählt. Danach steigt die Übereinstimmung deutlich, und der Hauptlauf kann beginnen.

Der Fall zeigt, dass sich die größten Verbesserungen nicht durch mehr Daten, sondern durch klarere Regeln ergeben. Ein kleiner, konsistent beschrifteter Datensatz schlägt eine große Menge mit widersprüchlichen Etiketten.

Datensätze richtig aufteilen

Annotierte Daten werden meist in drei Teile gegliedert: Training, Validierung und Test. Das Modell lernt am ersten Teil, mit dem zweiten stellt man Einstellungen ein, und der dritte bleibt unberührt, bis am Ende die Leistung gemessen wird. Wer die Teile mischt, bekommt zu gute Ergebnisse und erlebt in der Praxis eine Enttäuschung.

Achten Sie außerdem darauf, dass nahezu gleiche Beispiele nicht auf mehrere Teile verteilt werden. Eine Mail und ihre weitergeleitete Kopie im Training und im Test verfälschen die Messung. Entfernen Sie solche Dubletten, bevor Sie aufteilen.

Annotationsformate und Austausch

Annotierte Daten werden in unterschiedlichen Formaten gespeichert. Gängig sind einfache tabellarische Dateien, zeilenweise JSON-Dateien und spezielle Formate für Sequenzmarkierungen, bei denen jedes Wort ein Etikett für Anfang, Innenteil oder Außenbereich einer Markierung erhält. Für wissenschaftliche Korpora gibt es Auszeichnungssprachen, die die Beschriftung direkt im Text ablegen.

Wichtig ist, dass das gewählte Format zu Ihrem Werkzeug und Ihrer späteren Weiterverarbeitung passt. Ein Wechsel mitten im Projekt kostet Zeit. Wenn Sie Daten teilen wollen, legen Sie eine Beschreibung bei, die Felder, Etiketten und die Bedeutung jeder Kategorie erklärt. Hintergründe zu Auszeichnungsstandards stehen in den Beiträgen zu XML in der Texttechnologie.

Annotation für Sprachmodelle

Bei der Feinabstimmung großer Sprachmodelle verändert sich die Aufgabe. Statt einzelne Wörter zu markieren, schreiben oder bewerten Menschen ganze Antworten. Sie vergleichen zwei Textvorschläge und entscheiden, welcher hilfreicher, korrekter oder höflicher ist. Aus vielen solchen Urteilen lernt das Modell, welche Antworten erwünscht sind.

Diese Art der Beschriftung stellt hohe Anforderungen an Urteilsvermögen und Fachwissen. Wer medizinische oder juristische Antworten bewertet, sollte entsprechend qualifiziert sein. Ein Grundverständnis dafür, wie Modelle Eingaben aufnehmen, hilft ebenfalls; die Seite der Anweisungen ist ein eigenes Thema.

Fragen und Antworten

Was ist Data Annotation?

Es ist das Beschriften von Rohdaten mit Etiketten, etwa Namen in Texten oder Gegenständen auf Fotos. Auf diesen Beispielen lernt ein KI-Modell oder wird getestet.

Wie stellt man die Qualität annotierter Daten sicher?

Mit klaren Richtlinien, mehreren unabhängigen Beschriftenden, einer Messung der Übereinstimmung, einem Goldstandard und Stichprobenkontrollen. Widersprüche entscheidet eine erfahrene dritte Person.

Kann ein Sprachmodell die Beschriftung übernehmen?

Es kann Vorschläge machen und Arbeit sparen. Weil es inkonsistente oder erfundene Etiketten liefern kann, sollten Menschen Stichproben prüfen, vor allem bei wichtigen Datensätzen.

Brauche ich für jedes KI-Projekt eigene annotierte Daten?

Nein. Oft reichen vortrainierte Modelle mit guten Anweisungen. Eigene Beschriftung lohnt sich bei Spezialgebieten, teuren Fehlern oder wenn Sie ein Modell messbar prüfen müssen.