Direkt zum Inhalt
Text-Technology
Navigation

Grundlagen

Was ist ein LLM? Große Sprachmodelle einfach erklärt

Ein LLM ist ein großes Sprachmodell: ein neuronales Netz, das aus riesigen Textmengen gelernt hat, Sprache fortzusetzen. Hier steht, wie es entsteht, was es leistet und wo seine Grenzen liegen.

Zuletzt überarbeitet · Redaktion Text-Technology

Abstrakte Darstellung eines neuronalen Netzes aus leuchtenden Knoten
Foto: Google DeepMind / Pexels

Kurzantwort: LLM steht für „Large Language Model“, auf Deutsch ein großes Sprachmodell. Gemeint ist ein neuronales Netz, das aus gewaltigen Textmengen gelernt hat, welche Wörter und Satzteile zusammenpassen, und das daraus selbst Texte, Antworten und Programmcode erzeugt. Chatbots wie ChatGPT, Claude oder Gemini laufen auf solchen Modellen.

Was ein Sprachmodell im Kern tut

Ein Sprachmodell berechnet Wahrscheinlichkeiten. Es bekommt einen Textanfang und schätzt, welches Stück Text als Nächstes folgen dürfte. Dieses Stück wird angehängt, dann beginnt die Schätzung von vorn. Aus vielen solcher Einzelschritte entsteht ein Absatz, eine Zusammenfassung oder eine Übersetzung.

Das klingt simpel, hat aber eine weitreichende Folge: Um den nächsten Baustein gut vorherzusagen, muss das Modell Grammatik, Stil, Zusammenhänge und eine Menge Weltwissen in seinen Zahlenwerten abbilden. Das „Wissen“ liegt dabei nicht als Nachschlagetabelle vor, sondern verteilt in Millionen bis Milliarden von Gewichten.

Das Wort „groß“ bezieht sich auf zwei Dinge: die Menge der Trainingstexte und die Zahl der Parameter, also der einstellbaren Werte im Netz. Eine feste Grenze, ab der ein Modell als „groß“ gilt, gibt es nicht. Der Begriff hat sich eingebürgert, weil neuere Modelle die älteren Sprachmodelle in beidem weit übertreffen.

Wie ein LLM entsteht

Die Entwicklung läuft in Stufen, die sich grob so beschreiben lassen:

  1. Vortraining: Das Modell liest riesige Textsammlungen aus Büchern, Webseiten, Fachtexten und Quellcode. Aufgabe: das jeweils nächste Textstück erraten. Hier entsteht das Sprachgefühl.
  2. Anleitungs-Training: Mit Beispielen aus Fragen und guten Antworten lernt das Modell, auf Aufforderungen zu reagieren, statt Texte nur fortzusetzen.
  3. Ausrichtung: Menschen bewerten Antworten, und das Modell wird auf die hilfreicheren, sichereren Varianten getrimmt.
  4. Einsatz: Fertig trainiert, werden die Gewichte nicht mehr verändert. Ein Gespräch mit dem Modell lehrt es also nichts Dauerhaftes.

Für Anpassungen an eigene Aufgaben gibt es danach zwei übliche Wege: das Modell mit eigenen Beispielen nachtrainieren oder ihm beim Fragen passende Dokumente mitgeben. Welcher Weg sich wann lohnt, hängt von Aufgabe, Datenmenge und Aufwand ab.

Tokens: Das Modell liest keine Wörter

Intern arbeitet ein LLM nicht mit Buchstaben oder ganzen Wörtern, sondern mit Tokens. Das sind Textbausteine, mal ein kurzes Wort, mal eine Silbe, mal nur ein einzelnes Zeichen. Ein Programm namens Tokenizer zerlegt jeden Text vor der Verarbeitung in diese Teile und wandelt sie in Nummern um.

Das hat praktische Folgen. Lange deutsche Zusammensetzungen werden oft in mehrere Tokens zerlegt, und die Abrechnung vieler Dienste sowie die Grenzen der Textlänge richten sich nach Tokens, nicht nach Wörtern. Wie die Zerlegung funktioniert, steht im Beitrag Tokenizer und Tokens erklärt. Wer wissen will, wie viele Tokens ein eigener Text ergibt, nutzt den Token-Rechner.

Was LLMs gut können

Sprachmodelle sind keine Allzweckmaschinen, aber bei bestimmten Aufgaben erstaunlich stark:

  • Texte zusammenfassen, umformulieren, kürzen oder in einem anderen Ton neu schreiben
  • Übersetzen zwischen verbreiteten Sprachen
  • Informationen aus längeren Dokumenten ziehen und in Tabellen oder Listen ordnen
  • Programmcode erklären, ergänzen und auf Fehler durchsehen
  • Ideen sammeln, Gliederungen entwerfen, Fragen in einfacher Sprache beantworten
  • Texte nach Themen oder Stimmung sortieren, ohne dass dafür eigene Regeln programmiert werden müssen

Gemeinsam ist diesen Aufgaben, dass sie mit Sprache beginnen und mit Sprache enden. Genau dort liegt die Stärke des Prinzips.

In der Praxis zeigt sich der Nutzen vor allem dort, wo viel Text anfällt: Eine Sachbearbeiterin kann sich lange Schriftwechsel auf drei Sätze eindampfen lassen, ein Redaktionsteam holt sich Rohfassungen für Meldungen, ein Entwickler lässt unbekannten Code erklären. In allen Fällen übernimmt das Modell die mühsame erste Runde, und ein Mensch prüft und entscheidet.

Wo LLMs an Grenzen stoßen

Ein Modell, das Wahrscheinlichkeiten schätzt, prüft keine Fakten. Es liefert die Antwort, die plausibel klingt, und plausibel ist nicht dasselbe wie richtig. Das Ergebnis nennt man Halluzination: erfundene Quellen, falsche Daten, überzeugend formulierter Unsinn. Warum das passiert und wie man es eindämmt, erklärt Halluzinationen bei Sprachmodellen.

Weitere typische Schwächen:

  • Veraltetes Wissen: Das Modell kennt nur, was bis zum Ende seines Trainings in den Daten stand.
  • Rechnen und exakte Logik: Mehrstufige Rechnungen gehen ohne Hilfswerkzeuge gelegentlich schief.
  • Begrenzter Überblick: Pro Anfrage passt nur eine bestimmte Textmenge ins Gedächtnis, das sogenannte Kontextfenster. Je länger ein Dokument, desto eher muss man es in Stücke teilen.
  • Schwankende Antworten: Dieselbe Frage kann je nach Einstellung unterschiedlich beantwortet werden.
  • Übernommene Verzerrungen: Was in den Trainingstexten einseitig war, kann sich in den Antworten wiederfinden.

Die Faustregel lautet: Ein LLM liefert einen ersten Entwurf, keine geprüfte Auskunft. Wichtige Aussagen gehören nachgeprüft.

Hinzu kommt der Schreibstil: Modelle antworten fast immer in selbstsicherem Ton, auch wenn sie unsicher sind. Es gibt kein eingebautes Warnsignal, das zwischen gesichertem Wissen und Vermutung unterscheidet. Wer mit Zahlen, Rechtsfragen oder Gesundheitsthemen arbeitet, sollte deshalb jede Angabe gegen eine verlässliche Quelle halten.

Cloud-Dienst, eigener Rechner und Steuerung

Die meisten Menschen begegnen einem LLM als Webseite oder App. Die Anfrage geht an einen Server des Anbieters, die Rechenarbeit passiert dort. Es gibt aber auch Modelle mit frei verfügbaren Gewichten, die sich auf dem eigenen Computer betreiben lassen. Beide Wege haben Vor- und Nachteile:

Merkmal Cloud-Dienst Lokales Modell
Einrichtung Konto anlegen, sofort loslegen Programm und Modelldatei installieren
Rechenleistung Liegt beim Anbieter Eigener Rechner muss ausreichen
Datenweg Eingaben verlassen das Gerät Eingaben bleiben auf dem Gerät
Modellauswahl Vom Anbieter vorgegeben Große Auswahl offener Modelle
Kosten Meist Abo oder Nutzungsgebühr Keine laufenden Gebühren, dafür Hardware
Qualität bei schweren Aufgaben Oft höher Hängt von Modellgröße und Rechner ab

Wer es ausprobieren will, findet in Lokale LLMs auf dem eigenen Rechner den Einstieg und im Verzeichnis der Werkzeuge passende Programme und Modelle.

Auch der Rechenaufwand erklärt, warum sich Anbieter und Hobbynutzer so unterschiedlich aufstellen. Das Training eines großen Modells braucht spezialisierte Rechenzentren und lange Laufzeiten, die Nutzung eines fertigen Modells ist dagegen deutlich genügsamer. Deshalb lassen sich kleinere offene Modelle auf einem gut ausgestatteten Heimrechner betreiben, während die größten Modelle den Anbietern vorbehalten bleiben.

Steuerung: Ein Sprachmodell lässt sich auf zwei Arten beeinflussen. Erstens über den Prompt, die Anweisung in natürlicher Sprache. Je genauer Aufgabe, Format und Zielgruppe beschrieben sind, desto brauchbarer fällt die Antwort aus. Zweitens über Parameter wie die Temperatur, die steuert, wie berechenbar oder wie überraschend das Modell wählt.

Eine niedrige Temperatur liefert gleichförmigere, vorsichtigere Texte, eine hohe sorgt für mehr Abwechslung und mehr Risiko. Ein ähnlicher Regler namens Top-p begrenzt, wie viele der wahrscheinlichsten Kandidaten überhaupt in Frage kommen.

Ein Beispiel macht das greifbar. Bitten Sie ein Modell, „einen Text über Kaffee“ zu schreiben, bekommen Sie etwas Allgemeines. Bitten Sie es, „einen Absatz für Einsteiger über Röstgrade, ohne Fachjargon, in freundlichem Ton“ zu formulieren, wird das Ergebnis deutlich treffender. Das Modell kann nicht erraten, was Sie brauchen; es setzt um, was in der Anweisung steht.

Häufige Missverständnisse

„Das Modell versteht, was es sagt.“ Es bildet Muster nach. Ob man das Verstehen nennen darf, ist eine Streitfrage der Fachwelt; für den Alltag zählt: Verlassen Sie sich nicht darauf, dass es seine eigenen Aussagen prüft.

„Das Modell lernt aus meinem Gespräch.“ Innerhalb eines Gesprächs kann es auf frühere Nachrichten zugreifen. Die Gewichte ändern sich dadurch nicht. Ob ein Anbieter Eingaben für spätere Trainingsrunden verwendet, ist eine Frage der Nutzungsbedingungen, nicht der Technik.

„Ein LLM ist eine Suchmaschine.“ Es kann Wissen wiedergeben, aber es sucht nicht im Netz, außer ein Anbieter hat eine Suche angebunden. Ohne Quellen bleibt eine Antwort eine Behauptung.

„Größer ist immer besser.“ Größere Modelle sind oft leistungsfähiger, brauchen aber mehr Rechenleistung. Für klar umrissene Aufgaben reichen häufig kleinere Modelle völlig aus.

Verwandte Begriffe und die zweite Bedeutung von „LLM“

Rund um LLMs tauchen ständig weitere Fachwörter auf. Der Transformer ist die Bauweise des Netzes, auf der praktisch alle heutigen Sprachmodelle beruhen. Ein Embedding stellt Bedeutung als Zahlenreihe dar, damit sich ähnliche Texte finden lassen. RAG nennt man das Verfahren, einem Modell zur Frage passende Dokumente mitzugeben. NLP schließlich ist das Gesamtgebiet der maschinellen Sprachverarbeitung, zu dem LLMs inzwischen gehören. Für die Begriffe gibt es im Nachschlagewerk eigene Beiträge.

„LLM“ hat noch eine zweite, ganz andere Bedeutung: In der Juristenwelt bezeichnet es einen Masterabschluss. Wer dazu sucht, findet die Auflösung in LLM-Abkürzung: Large Language Model oder Master of Laws.

Fragen und Antworten

Was bedeutet LLM auf Deutsch?

LLM heißt „Large Language Model“, übersetzt ein großes Sprachmodell. Es ist ein neuronales Netz, das auf riesigen Textmengen trainiert wurde und Texte erzeugen, zusammenfassen und übersetzen kann.

Ist ChatGPT ein LLM?

ChatGPT ist eine Anwendung, die auf einem großen Sprachmodell aufbaut. Das Modell ist der Motor, die Chat-Oberfläche mit Zusatzfunktionen ist das Produkt darum herum.

Woher weiß ein LLM, was es antworten soll?

Es schätzt Schritt für Schritt, welches Textstück zum bisherigen Text am besten passt. Grundlage sind Muster, die es im Training aus sehr vielen Texten gelernt hat, nicht eine Datenbank mit geprüften Fakten.

Kann ich ein LLM auf dem eigenen Computer nutzen?

Ja, mit frei verfügbaren Modellen und Programmen für den lokalen Betrieb. Wie gut das klappt, hängt von Modellgröße und Ausstattung des Rechners ab. Die Eingaben bleiben dabei auf dem eigenen Gerät.

Lesen Sie auch