Definition
Goldstandard
Goldstandard ist eine sorgfältig von Menschen erstellte Referenzannotation, an der automatische Ergebnisse gemessen werden.
Ein Goldstandard ist eine Referenz, die als besonders verlässlich gilt. Er entsteht meist durch mehrere Annotierende, die nach festen Richtlinien arbeiten, und durch die Klärung von Abweichungen. Auf ihm beruhen Evaluation, Training und Vergleich von Werkzeugen.
Der Aufbau ist aufwendig und teuer. Richtlinien müssen präzise sein, und die Beteiligten brauchen Schulung. Dennoch bleibt auch ein Goldstandard fehlbar, weil Sprache oft mehrdeutig ist.
Wer einen Goldstandard nutzt, sollte dokumentieren, wie er entstanden ist und welche Unsicherheiten bestehen. Ein Goldstandard ist daher kein Dogma, sondern eine möglichst sorgfältige Vereinbarung über die richtige Antwort, die man offen benennen sollte.
Verwandte Begriffe
- EvaluationEvaluation bezeichnet die systematische Prüfung, wie gut ein Sprachwerkzeug seine Aufgabe erfüllt, meist anhand von Messgrößen und Stichproben.
- AnnotationAnnotation ist die Anreicherung von Texten mit zusätzlichen, maschinenlesbaren Informationen wie Wortarten, Strukturen oder Bedeutungen.
- TagsetTagset ist das festgelegte Verzeichnis aller Kategorien, mit denen ein Text annotiert wird, etwa Wortarten oder Satzglieder.
- BenchmarkBenchmark ist ein standardisierter Prüfsatz aus Aufgaben und Musterlösungen, mit dem sich Sprachwerkzeuge vergleichbar bewerten lassen.