Definition
Pretraining
Pretraining ist die erste, große Trainingsphase eines Sprachmodells auf allgemeinen Textmengen, in der es Sprache und Weltwissen grundlegend lernt.
Pretraining ist der Grundstock eines Sprachmodells. Das Modell lernt auf sehr großen, meist unbeschrifteten Texten, Wortfolgen vorherzusagen. Dabei entstehen Grammatik, Stilgefühl und ein breites, wenn auch lückenhaftes Wissen über die Welt.
Auf diesem Fundament bauen spätere Schritte auf, etwa Feinabstimmung oder das Lernen aus menschlichen Bewertungen. Das Pretraining ist der mit Abstand aufwendigste Teil und bestimmt, welche Sprachen, Fachgebiete und Qualitäten das Modell gut abdeckt.
Für Anwender ist das wichtig, weil Lücken im Pretraining sich in Antworten zeigen. Sind Dialekte, Fachliteratur oder Historie unterrepräsentiert, fallen die Ergebnisse dort schwächer aus.
Verwandte Begriffe
- FeinabstimmungFeinabstimmung, auf Englisch Fine-Tuning, ist das weitere Training eines vortrainierten Modells auf einem kleineren, gezielten Datensatz.
- LLMLLM steht für Large Language Model, ein sehr großes Sprachmodell, das auf umfangreichen Textmengen trainiert wurde und vielseitige Sprachaufgaben löst.
- TransformerTransformer ist eine neuronale Netzwerkarchitektur, die Beziehungen zwischen allen Elementen einer Eingabe über sogenannte Aufmerksamkeit gewichtet.
- KorpusKorpus ist eine systematisch zusammengestellte, digital vorliegende Sammlung von Texten für sprachwissenschaftliche Untersuchungen.