Dein erstes lokales KI-Modell in 30 Minuten

Es gibt zwei Gründe, ein Sprachmodell auf dem eigenen Rechner laufen zu lassen. Der eine ist Datenschutz, und der zählt in Deutschland mehr als anderswo. Der andere ist, dass man einmal selbst sehen will, was so ein Ding eigentlich ist, wenn keine Firma dazwischen sitzt. Beides ist ein guter Grund.

Was Du danach hast, ist ein Modell das offline antwortet. Kein Konto, keine Abrechnung nach Token, keine Übertragung an einen Anbieter. Was Du nicht hast, ist die Qualität von Opus 5 oder GPT-5.6. Das ist keine Kleinigkeit, und ich sage gleich in Schritt 9 ehrlich, wo die Grenze liegt. Aber für erstaunlich viele Aufgaben reicht das Lokale, und der Weg dahin dauert eine halbe Stunde.

1. Prüf zuerst, ob Dein Rechner überhaupt mitspielt

Bevor Du irgendetwas installierst, schau nach, wie viel Arbeitsspeicher Du hast. Bei einem Mac mit Apple Silicon zählt der gemeinsame Speicher, also die Zahl die beim Kauf als 16 GB oder 32 GB dastand. Bei einem Windows- oder Linux-Rechner mit dedizierter Grafikkarte zählt der Speicher der Grafikkarte, nicht der des Rechners.

Die grobe Einordnung, Stand August 2026, und zwar getrennt nach Bauart. Bei einer dedizierten Grafikkarte steht Dir ihr Speicher fast vollständig zur Verfügung: 8 GB reichen für ein kleines Modell, 16 GB sind angenehm, ab 24 GB wird es inhaltlich ernsthaft. Bei Apple Silicon teilen sich Prozessor und Grafik denselben Speicher, und davon steht nur ein Teil dem Modell zur Verfügung, grob zwei Drittel bis drei Viertel. Aus 16 GB werden also eher 11 GB nutzbar, aus 32 GB etwa 22. Rechne bei einem Mac deshalb eine Stufe großzügiger als die Zahl auf dem Karton vermuten lässt. Ohne Grafikkarte geht es auch, nur langsamer, weil dann der Hauptprozessor rechnet.

Tipp: Wenn Du unsicher bist, fang trotzdem an. Der erste Versuch kostet Dich nichts außer Festplattenplatz, und den bekommst Du mit einem Befehl zurück.

2. Installier Ollama

Ollama ist der bequemste Einstieg. Es lädt Modelle herunter, kümmert sich um das Format und stellt eine Schnittstelle bereit, die sich für andere Programme wie die von OpenAI anfühlt. Das ist praktischer als es klingt, weil viele Werkzeuge dadurch ohne Umbau mit Deinem lokalen Modell reden können.

Auf ollama.com gibt es Installer für Mac, Windows und Linux. Nach der Installation läuft ein kleiner Dienst im Hintergrund, standardmäßig nur auf Deinem eigenen Rechner erreichbar. Ob er da ist, prüfst Du im Terminal:

ollama --version

Tipp: Wenn Du eine Oberfläche zum Klicken lieber magst als ein Terminal, nimm stattdessen LM Studio. Es kann dasselbe und hat einen eingebauten Modell-Browser. Achtung bei den Befehlen weiter unten: LM Studio startet seinen Server von Hand aus der Oberfläche und lauscht auf einem anderen Port als Ollama. Die Adresse steht dort im Server-Tab, und die musst Du in Schritt 8 statt der Ollama-Adresse einsetzen. Die ollama-Kommandos gelten nur für Ollama.

3. Lad ein passendes erstes Modell

Fang klein an. Ein Modell mit sieben bis neun Milliarden Parametern in der üblichen Kompression passt in acht Gigabyte und antwortet auf einem normalen Rechner flüssig.

ollama pull qwen3:8b

Der Download ist ein paar Gigabyte groß. Währenddessen kannst Du Schritt 4 lesen.

Tipp: Die Zahl vor dem b sind Milliarden Parameter und damit die grobe Größenklasse. Was dahinter noch steht, etwa q4_K_M, ist die Kompression. Mehr dazu im Playbook Welches lokale Modell zu Deiner Hardware passt.

4. Versteh in einem Satz, was Quantisierung ist

Ein Modell wird trainiert mit sehr genauen Zahlen. Für den Betrieb kann man diese Zahlen gröber speichern, ähnlich wie ein Foto als JPEG statt als RAW. Das Ergebnis ist kleiner und schneller, und man sieht den Unterschied meistens nicht.

Die übliche Einstellung heißt Q4_K_M. Gegenüber dem unkomprimierten Original schrumpft der Speicherbedarf damit grob auf ein Viertel, und die Qualität leidet so wenig, dass es im Alltag nicht auffällt. Exakt vier Bit pro Zahl sind es nicht, es kommen noch Skalierungswerte dazu, deshalb ist die echte Dateigröße immer etwas höher als die reine Rechnung. Ollama wählt das automatisch, Du musst nichts einstellen. Wichtig ist nur, dass Du weißt was gemeint ist, wenn Du die Angabe irgendwo liest.

Tipp: Geh nicht unter Q4. Q2 und Q3 sparen zwar weiter Speicher, aber da fängt das Modell an, spürbar dümmer zu werden. Wie stark, hängt vom Modell und von der Aufgabe ab, und bei Code und Werkzeug-Aufrufen bricht es früher ein als beim Fließtext.

5. Sprich das Modell zum ersten Mal an

ollama run qwen3:8b

Du landest in einem Chat im Terminal. Stell eine Frage, zu der Du die Antwort schon kennst, damit Du die Qualität einschätzen kannst. Etwas aus Deinem Fachgebiet ist besser geeignet als eine Wissensfrage, weil Du beim Fachlichen sofort merkst, ob es Substanz hat oder nur gut klingt.

Beenden kannst Du mit /bye.

Tipp: Die erste Antwort dauert länger, weil das Modell in den Speicher geladen wird. Ab der zweiten geht es zügig. Wenn Du also im ersten Moment denkst, das sei unbrauchbar langsam, warte den zweiten Versuch ab.

6. Häng eine Oberfläche dran

Im Terminal zu chatten ist zum Ausprobieren in Ordnung und für den Alltag unbequem. Open WebUI gibt Dir eine Oberfläche im Browser, die aussieht wie die üblichen Chat-Dienste, aber komplett auf Deinem Rechner läuft. Es kennt Deine Ollama-Modelle von selbst.

Mit Docker ist es ein Befehl, aber er sieht auf Mac und Windows anders aus als auf Linux. Der Unterschied ist nicht kosmetisch: Ollama lauscht nur auf 127.0.0.1, und ein Container erreicht diese Adresse des Wirts nicht von allein.

Auf Mac und Windows legt Docker Desktop den Namen host.docker.internal an, über den der Container den Wirt erreicht. Der Befehl steht hier in einer Zeile, damit er sich in Terminal, PowerShell und Eingabeaufforderung gleichermaßen einfügen lässt:

docker run -d -p 127.0.0.1:3000:8080 --add-host=host.docker.internal:host-gateway -e OLLAMA_BASE_URL=http://host.docker.internal:11434 -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:v0.6.31

Das -p 127.0.0.1:3000:8080 ist der wichtige Teil: die Oberfläche ist damit nur von Deinem eigenen Rechner aus erreichbar.

Auf Linux gibt es diesen Namen nicht, und der Ausweg, den man überall liest, ist eine Falle. --network=host lässt den Container zwar an das Ollama auf 127.0.0.1 heran, hebt dabei aber die Bindung auf localhost auf: die Oberfläche hört dann auf allen Schnittstellen. Eine Firewall davorzusetzen klingt nach Lösung, ist aber keine verlässliche, denn ufw status: active sagt nichts darüber, ob genau dieser Port auch geschlossen ist. Und das Risiko ist konkret: bei einer frischen Open-WebUI-Installation wird der erste, der sich registriert, Administrator. Wer im selben Netz sitzt, war womöglich schneller.

Deshalb steht dieser Weg hier nicht. Nimm auf Linux das Image, das Ollama gleich mitbringt:

docker run -d -p 127.0.0.1:3000:8080 -p 127.0.0.1:11435:11434 -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama

Dieser Container hat sein eigenes Ollama, es muss also nichts zum Wirt durchgereicht werden, und beide Bindungen auf 127.0.0.1 halten ohne jede Firewall. Der zweite Port gibt die Ollama-Schnittstelle des Containers frei, die brauchst Du in Schritt 8. Er liegt bewusst auf 11435 und nicht auf 11434, damit er sich nicht mit einem noch installierten Ollama auf dem Rechner beisst. Modelle lädst Du hier in der Oberfläche oder mit docker exec -it open-webui ollama pull qwen3:8b. Das Ollama aus Schritt 2 brauchst Du für die Oberfläche dann nicht mehr; für die Terminal-Schritte 3 bis 5 war es trotzdem nützlich, und Du kannst es liegen lassen oder deinstallieren.

Wer weder Docker noch zwei Ollamas will, nimmt auf Linux LM Studio. Das bringt Oberfläche und Modellverwaltung in einem mit.

Danach im Browser http://localhost:3000 aufrufen. Die feste Version im Mac- und Windows-Befehl ist Absicht: :main verschiebt sich unter Dir. Der Linux-Tag :ollama wandert leider ebenfalls, dort gibt es keine feste Entsprechung. Ganz exakt festnageln lässt sich ein Build ohnehin nur über seinen Digest.

Tipp: Spätestens hier lohnt es sich, ein Gespräch mit einem echten Arbeitsauftrag zu führen statt mit Testfragen. Erst dann merkst Du, ob das Modell für Dich taugt.

7. Gib dem Modell Deine eigenen Dokumente

Der Punkt, an dem lokale Modelle interessant werden, ist nicht das allgemeine Wissen. Da verlieren sie gegen die großen Anbieter. Interessant wird es, wenn sie etwas sehen, das Du keinem Anbieter geben willst.

Zieh in Open WebUI ein PDF in den Chat und lass es zusammenfassen. Einen Vertrag, ein Protokoll, eine Rechnung. Genau die Sachen, bei denen Du bei ChatGPT kurz zögerst.

Ein Vorbehalt gehört dazu, bevor Du wirklich Sensibles hineingibst. Lokal ist das Modell, nicht automatisch die ganze Oberfläche. Wenn dort Websuche eingeschaltet ist, ein Embedding-Dienst in der Cloud für die Dokumentensuche eingetragen ist oder ein Fremdmodell als Alternative hinterlegt wurde, gehen Teile Deiner Daten doch hinaus. Geh die Einstellungen einmal durch und schalt aus, was nach draußen zeigt. Danach stimmt der Satz, dass die Datei den Rechner nicht verlässt.

Tipp: Halt die Dokumente am Anfang kurz. Nicht weil kleine Modelle grundsätzlich ein kleines Kontextfenster hätten, das hängt am Modell und nicht an der Parameterzahl, sondern weil lange Dokumente automatisch zerstückelt und nur ausschnittsweise gelesen werden. Bei einem 80-seitigen Vertrag heißt das: die Zusammenfassung kann eine wichtige Klausel schlicht auslassen, ohne es zu erwähnen. Prüf deshalb bei langen Dokumenten stichprobenartig gegen das Original.

8. Mach das Modell für andere Programme erreichbar

Ollama stellt seine Schnittstelle auf Port 11434 bereit und spricht dabei das Format, das die meisten Werkzeuge von OpenAI kennen. Damit kannst Du in vielen Programmen einfach die Adresse austauschen und plötzlich läuft dieselbe Anwendung gegen Dein lokales Modell.

Der Befehl unten gilt für das Ollama auf Deinem Rechner. Beim Linux-Container mit gebündeltem Ollama ist es dieselbe Schnittstelle, nur auf dem Port, den Du in Schritt 6 mit freigegeben hast: dort steht dann 11435 statt 11434. Sonst ändert sich nichts.

curl http://localhost:11434/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model":"qwen3:8b","messages":[{"role":"user","content":"Sag Hallo"}]}'

Kommt hier eine Antwort, ist die Schnittstelle offen und Du kannst weiterbauen.

Tipp: Der Port ist standardmäßig nur auf Deinem eigenen Rechner erreichbar, und das ist gut so. Wenn Du ihn im Netzwerk freigibst, denk vorher darüber nach, wer sonst noch in diesem Netz sitzt.

9. Erwarte das Richtige, sonst wirst Du enttäuscht

Hier die ehrliche Einordnung, ohne die dieses Playbook unvollständig wäre.

Was lokal gut geht: zusammenfassen, umformulieren, übersetzen, sortieren, klassifizieren, aus einem Text die Struktur ziehen, einfache Fragen zu einem beigelegten Dokument. Also der ganze Fleiß-Anteil der Textarbeit.

Was lokal schlechter geht: lange Ketten von Schlussfolgerungen, schwierige Code-Architektur, selbstständiges Arbeiten über viele Schritte hinweg, alles was wirklich tiefes Denken braucht. Da sind die großen Modelle nicht ein bisschen besser, sondern deutlich.

Das ist keine vorübergehende Schwäche, die nächste Woche behoben ist. Es ist der Preis dafür, dass etwas auf einem Gerät läuft, das unter Deinem Schreibtisch steht statt in einem Rechenzentrum. Wer das akzeptiert, hat ein sehr nützliches Werkzeug. Wer den Ersatz für Opus 5 erwartet, legt es nach zwei Tagen weg.

Tipp: Der produktivste Aufbau ist meistens gemischt. Lokal für alles mit sensiblen Daten und für Massenarbeit, Cloud für die schweren Fälle. Die Rechnung dazu steht in Lokal oder Cloud, die ehrliche Rechnung.

10. Räum auf, wenn Du es nicht behalten willst

Modelle belegen Platz, und beim Ausprobieren sammeln sich schnell mehrere an. Beim Ollama auf Deinem Rechner geht das so:

ollama list
ollama rm qwen3:8b

Beim Linux-Container mit gebündeltem Ollama dieselben Befehle, nur im Container:

docker exec -it open-webui ollama list
docker exec -it open-webui ollama rm qwen3:8b

Das entfernt allerdings jeweils nur das Modell. Deine hochgeladenen Dokumente, die Gesprächsverläufe und die Suchindizes liegen woanders, nämlich im Datenbereich der Oberfläche. Genau die Sachen also, wegen denen Du lokal gearbeitet hast. Wer nur das Modell löscht und denkt, damit sei aufgeräumt, lässt die Verträge und Arztbriefe liegen.

Vollständig weg ist es erst so:

docker rm -f open-webui
docker volume rm open-webui

Wenn Du auf Linux den Container mit gebündeltem Ollama genommen hast, liegt dort noch eine zweite Modellkopie in einem eigenen Volume:

docker volume rm ollama

Bei LM Studio liegt das Gegenstück im Programmordner unter Deinem Benutzerverzeichnis, dort gehören Chats und angehängte Dateien mit gelöscht.

Damit sind Deine Inhalte weg. Was liegen bleibt, ist Infrastruktur: das Docker-Image, die Ollama-Installation und weitere Modelle, die Du noch nicht entfernt hast. Nichts davon enthält Deine Dokumente, aber Platz belegt es. Was es dagegen nicht gibt: ein Konto, das gekündigt werden muss, oder ein Abo, das weiterläuft. Das ist die andere angenehme Seite an lokal.

Tipp: Bevor Du löschst, notier Dir welches Modell für welche Aufgabe gut war. Diese Notiz ist beim nächsten Mal mehr wert als das Modell selbst, weil die Auswahl sich alle paar Monate ändert.

Was als nächstes

Wenn Du jetzt wissen willst, welches Modell auf Deiner konkreten Hardware das beste Ergebnis bringt, geht es in Welches lokale Modell zu Deiner Hardware passt weiter. Wenn Du das Ganze im Unternehmen einsetzen willst, klärt Lokale KI und die DSGVO was wirklich gilt und was nur behauptet wird. Und wenn Dein lokales Modell nicht nur reden, sondern auch Werkzeuge benutzen soll, zeigt MCP mit lokalen Modellen den Anschluss an den Rest Deines Aufbaus.

Source

Zahlen zu Speicherbedarf und Modellgrößen ändern sich mit jeder Modell-Generation. Prüf sie vor einer Kaufentscheidung an der Quelle, nicht in Blogposts.

• Ollama, Installation und Modell-Bibliothek: https://ollama.com
• LM Studio, Desktop-Oberfläche mit lokalem Server: https://lmstudio.ai
• Open WebUI, Browser-Oberfläche für lokale Modelle: https://openwebui.com
• llama.cpp, die Engine unter Ollama: https://github.com/ggml-org/llama.cpp