Lokale LLM-Werkzeuge
Lokale LLMs: KI-Modelle auf dem eigenen Rechner betreiben
Ein lokales Sprachmodell läuft auf Ihrem eigenen Gerät, ohne dass Texte das Haus verlassen. Hier steht, was Sie dafür brauchen und wo die Grenzen liegen.
Zuletzt überarbeitet · Redaktion Text-Technology

Kurzantwort: Ein lokales LLM ist ein Sprachmodell, das komplett auf Ihrem eigenen Rechner läuft, ohne dass Texte an einen Cloud-Dienst gehen. Dafür laden Sie die Gewichte eines offenen Modells herunter und starten sie mit einem Programm wie LM Studio oder Ollama. Entscheidend sind Arbeitsspeicher und Grafikkarte, nicht die Rechenleistung des Prozessors.
Was „lokal“ eigentlich bedeutet
Bei ChatGPT, Gemini oder Claude läuft das Modell in einem Rechenzentrum. Ihre Eingabe reist über das Internet dorthin, die Antwort kommt zurück. Bei einem lokalen Modell liegt die Datei mit den gelernten Parametern auf Ihrer Festplatte, und die Berechnung passiert in Ihrem Gerät. Nach dem Download funktioniert das Ganze auch ohne Netzverbindung.
Technisch ist das dasselbe Prinzip wie in der Cloud, nur kleiner. Wie ein großes Sprachmodell grundsätzlich arbeitet, steht in einem eigenen Beitrag. Hier geht es um die Praxis: Was brauchen Sie, was bekommen Sie, und wo liegen die Grenzen?
Warum Menschen Modelle selbst betreiben
Die Gründe sind meist sehr praktisch. Vier kommen immer wieder vor:
- Vertraulichkeit: Verträge, Patientenakten, Interviewtranskripte oder Quellcode bleiben auf dem Gerät. Es gibt keinen externen Anbieter, der Eingaben speichern könnte.
- Planbare Kosten: Es fallen keine Gebühren pro Anfrage an. Sie zahlen die Hardware und den Strom.
- Unabhängigkeit: Ein Modell, das Sie heruntergeladen haben, ändert sich nicht über Nacht. Kein Anbieter schaltet es ab oder tauscht es gegen eine neue Version aus.
- Experimentierfreiheit: Sie können Parameter verstellen, Modelle wechseln und eigene Dokumente einbinden, ohne Nutzungsregeln eines Dienstes zu beachten.
Wie es um den Schutz Ihrer Texte bei Cloud-Diensten steht, beschreibt der Beitrag zum Datenschutz bei KI-Werkzeugen.
Was Ihr Rechner mitbringen muss
Ein Sprachmodell besteht aus Milliarden von Zahlen, die beim Antworten ständig gelesen werden. Deshalb ist der Speicher der Engpass. Als Faustregel gilt: Das ganze Modell muss in den schnellen Speicher passen, sonst wird es zäh.
| Bauteil | Rolle beim Betrieb | Auswirkung |
|---|---|---|
| Grafikspeicher (VRAM) | Hält die Modellgewichte, wenn eine Grafikkarte rechnet | Bestimmt, wie große Modelle flüssig laufen |
| Arbeitsspeicher (RAM) | Dient als Ausweichfläche oder als Hauptspeicher ohne Grafikkarte | Mehr Platz, aber deutlich langsamere Antworten |
| Einheitlicher Speicher (Apple Silicon) | Prozessor und Grafikeinheit teilen sich einen Pool | Auch größere Modelle möglich, ohne Extra-Karte |
| Prozessor | Rechnet, wenn keine Grafikkarte genutzt wird | Funktioniert, bleibt aber spürbar langsamer |
| Festplatte (SSD) | Speichert die Modelldateien | Beeinflusst vor allem die Ladezeit |
Konkrete Gigabyte-Angaben hängen von Modell und Verfahren ab und ändern sich ständig. Die Modellkarte beim Anbieter nennt den Speicherbedarf. Prüfen Sie diese Angabe vor dem Download.
Quantisierung: Wie große Modelle auf kleine Geräte passen
Originalmodelle speichern ihre Parameter mit hoher Genauigkeit. Bei der Quantisierung werden diese Zahlen gröber gerundet. Die Datei schrumpft, das Modell braucht weniger Speicher und rechnet schneller. Dafür sinkt die Qualität ein wenig, meist erst bei sehr starker Rundung deutlich.
Im Alltag begegnet Ihnen das als Kürzel wie „Q4“ oder „Q8“ im Dateinamen. Niedrigere Zahlen bedeuten stärkere Kompression. Für Texte, Zusammenfassungen und einfache Fragen genügt oft eine mittlere Stufe. Bei Programmieraufgaben oder genauen Fakten lohnt sich eine höhere Stufe, sofern der Speicher reicht.
Modellgröße und Qualität
Größere Modelle antworten im Schnitt differenzierter, machen weniger Fehler bei langen Gedankengängen und halten Anweisungen besser ein. Kleine Modelle sind schnell und sparsam, stolpern aber eher bei mehrstufigen Aufgaben. Eine gute Strategie lautet: Beginnen Sie klein, testen Sie mit Ihren eigenen Aufgaben und gehen Sie nur dann eine Stufe höher, wenn das Ergebnis nicht reicht.
Für deutsche Texte spielt die Trainingsbasis eine Rolle. Nicht jedes kleine Modell beherrscht Grammatik und Stil gleich gut. Eine Übersicht dazu finden Sie unter Sprachmodelle für Deutsch.
Die Software: In drei Schritten zum ersten Gespräch
Sie müssen nichts programmieren. Es gibt Programme, die Download, Verwaltung und Chat in einer Oberfläche bündeln. Welches davon zu Ihnen passt, klärt der Vergleich von LM Studio, Ollama und AnythingLLM. Der grundsätzliche Ablauf ist überall ähnlich:
- Programm installieren: Laden Sie das Werkzeug von der Seite des Herstellers und installieren Sie es wie jede andere Anwendung.
- Modell auswählen und laden: Das Programm zeigt einen Katalog. Wählen Sie ein offenes Modell passend zu Ihrem Speicher und starten Sie den Download.
- Chat öffnen: Sobald die Datei geladen ist, tippen Sie Ihre erste Frage. Die Antwort entsteht ohne Netzzugriff.
Weitere Programme dieser Art sammelt das Werkzeugverzeichnis mit Einträgen zu lokalen Lösungen.
Eigene Dokumente einbinden
Ein frisch geladenes Modell kennt Ihre Unterlagen nicht. Wollen Sie Fragen zu eigenen PDFs oder Notizen stellen, brauchen Sie eine Zusatzschicht: Die Dokumente werden in Abschnitte zerlegt, durchsuchbar gemacht, und passende Stellen wandern mit Ihrer Frage in den Prompt des Modells. Dieses Verfahren heißt Retrieval-Augmented Generation und ist in RAG erklärt beschrieben.
Alternativ lässt sich ein Modell nachtrainieren. Das ist aufwendiger und lohnt sich nur in bestimmten Fällen, wie der Beitrag Fine-Tuning oder RAG zeigt.
Grenzen und Fallstricke
Lokal heißt nicht automatisch besser. Einige Einschränkungen sollten Sie kennen:
- Geringere Spitzenqualität: Die größten Cloud-Modelle sind in vielen Aufgaben stärker als das, was auf einem Büro-PC läuft.
- Kontextlänge: Wie viel Text das Modell auf einmal verarbeitet, kostet zusätzlichen Speicher. Mehr dazu unter Kontextfenster.
- Halluzinationen: Auch lokale Modelle erfinden Fakten, besonders kleine. Wichtige Angaben prüfen Sie weiterhin an der Quelle.
- Lizenzen: „Offen“ bedeutet nicht immer „frei nutzbar“. Manche Modelle schränken die kommerzielle Verwendung ein. Lesen Sie die Lizenz, bevor Sie ein Modell im Betrieb einsetzen.
- Wartung: Updates für Software und Modelle liegen bei Ihnen.
Für wen sich der Aufwand lohnt
Besonders sinnvoll ist ein lokales Modell, wenn Sie mit sensiblen Texten arbeiten, regelmäßig große Mengen verarbeiten oder ohne Internet auskommen müssen. Für gelegentliche Fragen und kreative Aufgaben sind Cloud-Dienste bequemer. Viele Teams kombinieren beides: Vertrauliches läuft lokal, Allgemeines in der Cloud.
Wenn Sie abschätzen möchten, wie viel Text ein Vorgang umfasst, hilft der Token-Rechner. Er zeigt, wie sich Textlänge in die Einheiten übersetzt, mit denen Modelle rechnen.
Ein realistischer Einstieg: Der Testlauf
Bevor Sie Geld in Hardware stecken, probieren Sie das Vorhaben mit dem Gerät aus, das Sie schon haben. Ein kleines Modell läuft auf vielen aktuellen Laptops, wenn auch gemächlich. Sie sehen dann schnell, ob Tempo und Qualität für Ihren Zweck reichen.
Legen Sie sich dafür drei bis fünf echte Aufgaben zurecht: eine Zusammenfassung, eine Umformulierung, eine Frage zu einem Fachthema, vielleicht ein kurzer Code-Auftrag. Stellen Sie jedem Modell dieselben Aufgaben und vergleichen Sie die Ergebnisse nebeneinander. Allgemeine Ranglisten sagen wenig darüber, wie ein Modell bei Ihren Texten abschneidet.
Notieren Sie dabei auch, wie lange die Antwort dauert. Ein Modell, das hervorragend schreibt, aber minutenlang rechnet, wird im Alltag schnell liegen gelassen. Ein etwas schwächeres, dafür flottes Modell wird dagegen tatsächlich genutzt.
Typische Einsatzfelder
Lokale Modelle haben sich in einigen Bereichen bewährt, in denen Vertraulichkeit oder Dauerbetrieb zählen:
- Zusammenfassen und Ordnen: Besprechungsnotizen, Protokolle oder Recherchematerial werden gekürzt und gegliedert.
- Umformulieren und Korrigieren: Texte werden sprachlich geglättet, ohne dass Entwürfe das Haus verlassen.
- Auswerten großer Textmengen: Das Sortieren von Mails, das Markieren von Themen oder das Ausziehen von Namen lässt sich automatisieren. Verwandte Verfahren stehen unter Text-Mining.
- Programmierhilfe: Ein Modell im eigenen Netz liest Quellcode, den Sie nicht nach außen geben dürfen.
- Offline-Arbeit: Unterwegs, in abgeschotteten Netzen oder bei schlechter Verbindung steht die Hilfe trotzdem bereit.
Sicherheit im eigenen Netz
Dass ein Modell lokal läuft, macht Ihre Umgebung nicht automatisch sicher. Viele Programme bieten einen Server-Modus an, über den andere Geräte im Netzwerk mitlesen und mitschreiben können. Schalten Sie diesen nur dann ein, wenn Sie ihn brauchen, und schützen Sie ihn durch eine Firewall oder einen Zugang mit Anmeldung.
Laden Sie Modelle ausschließlich aus Quellen, denen Sie vertrauen. Eine Modelldatei ist ein Programmbaustein, kein Dokument, und stammt im besten Fall von einem bekannten Anbieter mit nachvollziehbarer Herkunft. Prüfen Sie außerdem, welche Zusatzfunktionen aktiv sind: Manche Werkzeuge senden Nutzungsdaten oder fragen online Updates ab. Ein kurzer Blick in die Einstellungen schafft Klarheit.
Häufige Fragen aus der Praxis
Viele Einsteiger stolpern über dieselben Punkte. Die Antwort auf die Frage, ob eine Grafikkarte Pflicht ist, lautet: Nein, aber sie beschleunigt die Arbeit spürbar. Ob ein Modell Deutsch kann, hängt vom Modell ab, und im Zweifel entscheidet der eigene Test. Und ob sich die Anschaffung rechnet, lässt sich nur beantworten, wenn man das Arbeitsvolumen kennt: Bei wenigen Anfragen im Monat bleibt die Cloud meist günstiger, bei großen Mengen oder strengen Datenschutzregeln wechselt das Bild.
Auch der Strombedarf wird oft unterschätzt. Ein Rechner, der stundenlang unter Volllast Texte erzeugt, verbraucht merklich mehr als ein ruhender Büro-PC. Planen Sie das ein, wenn Sie einen Dauerbetrieb im Büro vorsehen.
Fragen und Antworten
Brauche ich für ein lokales LLM eine Grafikkarte?
Nein, ein Modell läuft auch auf dem Prozessor. Eine Grafikkarte mit genug Speicher macht die Antworten aber deutlich schneller.
Ist ein lokales LLM wirklich privat?
Solange Programm und Modell offline arbeiten, bleiben Ihre Eingaben auf dem Gerät. Prüfen Sie Zusatzfunktionen wie Update-Abfragen oder Server-Modus.
Was bedeutet Quantisierung bei Modellen?
Die Parameter werden gröber gerundet, damit die Datei kleiner wird und weniger Speicher braucht. Dabei sinkt die Qualität leicht.
Sind lokale Modelle so gut wie ChatGPT?
Für viele Alltagsaufgaben genügen sie. Die größten Cloud-Modelle liefern bei schwierigen Aufgaben meist bessere Ergebnisse.