Definition
Neuronales Netz
Neuronales Netz ist ein Modell aus vielen miteinander verbundenen Recheneinheiten, das Eingaben schrittweise in Ausgaben umwandelt und dabei lernt.
Ein neuronales Netz besteht aus Schichten einfacher Recheneinheiten, die Eingaben gewichten, summieren und weiterreichen. Durch Training werden diese Gewichte so angepasst, dass das Netz gewünschte Ausgaben erzeugt. Die Idee ist alt, ihr Durchbruch kam mit großen Datenmengen und leistungsfähiger Hardware.
Sprachmodelle sind neuronale Netze, die auf Textfolgen trainiert werden. Ihr inneres Wissen steckt in den Gewichten, nicht in lesbaren Regeln. Deshalb sind ihre Entscheidungen schwer nachzuvollziehen.
Für Anwender bedeutet das: Gute Ergebnisse sind keine Garantie für Verlässlichkeit, und Prüfung bleibt nötig. Die Größe eines Netzes sagt dabei wenig über seine Qualität aus, entscheidend sind Trainingsdaten und Sorgfalt im Training.
Verwandte Begriffe
- TransformerTransformer ist eine neuronale Netzwerkarchitektur, die Beziehungen zwischen allen Elementen einer Eingabe über sogenannte Aufmerksamkeit gewichtet.
- SprachmodellSprachmodell ist ein statistisches oder neuronales Modell, das Wahrscheinlichkeiten für Wortfolgen berechnet und damit Text vorhersagt oder erzeugt.
- PretrainingPretraining ist die erste, große Trainingsphase eines Sprachmodells auf allgemeinen Textmengen, in der es Sprache und Weltwissen grundlegend lernt.
- Überwachtes LernenÜberwachtes Lernen trainiert ein Modell mit Beispielen, die bereits die richtige Antwort enthalten.