Definition
Benchmark
Benchmark ist ein standardisierter Prüfsatz aus Aufgaben und Musterlösungen, mit dem sich Sprachwerkzeuge vergleichbar bewerten lassen.
Ein Benchmark besteht aus festen Testaufgaben, für die richtige Ergebnisse vorliegen, und einer Bewertungsregel. Damit können unterschiedliche Modelle oder Programme unter gleichen Bedingungen gemessen werden. Bekannte Beispiele betreffen Übersetzung, Fragebeantwortung oder Wortartenbestimmung.
Der Wert eines Benchmarks hängt davon ab, wie gut seine Aufgaben zur eigenen Aufgabe passen. Ein Test für englische Nachrichtentexte sagt wenig über deutsche Gesetzestexte aus. Außerdem können Modelle Testdaten im Training gesehen haben, was die Ergebnisse verzerrt.
Wer Werkzeuge vergleicht, sollte deshalb eigene Testfälle aus dem eigenen Material bilden und die Ergebnisse dokumentieren. Ein hoher Wert ist daher ein Hinweis, aber noch kein Beweis dafür, dass ein Werkzeug im eigenen Projekt zuverlässig arbeitet.
Verwandte Begriffe
- EvaluationEvaluation bezeichnet die systematische Prüfung, wie gut ein Sprachwerkzeug seine Aufgabe erfüllt, meist anhand von Messgrößen und Stichproben.
- KorpusKorpus ist eine systematisch zusammengestellte, digital vorliegende Sammlung von Texten für sprachwissenschaftliche Untersuchungen.
- AnnotationAnnotation ist die Anreicherung von Texten mit zusätzlichen, maschinenlesbaren Informationen wie Wortarten, Strukturen oder Bedeutungen.
- SprachmodellSprachmodell ist ein statistisches oder neuronales Modell, das Wahrscheinlichkeiten für Wortfolgen berechnet und damit Text vorhersagt oder erzeugt.