Lokale KI auf dem eigenen Rechner, damit deine Daten nie das Haus verlassen

Es gibt einen Punkt an dem fast jeder haengenbleibt der anfängt ernsthaft mit KI zu arbeiten. Du willst einen Vertrag zusammenfassen lassen, eine Gehaltsabrechnung, eine Krankmeldung, Kundendaten. Und dann hältst Du kurz inne, weil das Zeug an einen Server in den USA geht sobald Du auf Enter drückst. Bei mir war das der Moment wo ich angefangen hab lokale Modelle ernst zu nehmen.

Lokale KI heißt: das Modell läuft auf Deinem eigenen Rechner. Kein Konto, keine Cloud, kein Datenabfluss. Was Du eintippst bleibt auf der Festplatte. Vor zwei Jahren war das noch Bastelkram mit Kommandozeile und CUDA-Fehlermeldungen. Heute ist es ein Klick. Ollama hat 2026 die 52 Millionen Downloads pro Monat geknackt und liefert inzwischen eine richtige Desktop-App mit Chat-Fenster, LM Studio ist komplett kostenlos geworden. Du brauchst kein Entwickler zu sein.

Hier ist die Reihenfolge die ich Leuten gebe die das zum ersten Mal machen. Zehn Schritte, einmal durch ist eine gute halbe Stunde, danach hast Du eine KI die offline läuft.

Schritt 1, verstehen was lokal wirklich anders macht

Der Unterschied ist nicht die Antwortqualität, die ist bei den großen Cloud-Modellen wie Opus 4.8 oder GPT-5 immer noch klar besser. Der Unterschied ist wo Deine Eingabe landet. Bei ChatGPT oder Claude reist jedes Wort über Deine Leitung an einen fremden Rechner, wird dort verarbeitet und meistens auch für eine Weile gespeichert. Bei einem lokalen Modell passiert die ganze Rechnung in Deinem Wohnzimmer. Du kannst das WLAN ausstecken und es funktioniert weiter.

Das macht lokale KI zur ehrlichen Antwort auf die Frage die Dich beim Datenschutz umtreibt. Statt Dir zu merken was Du niemals in eine Cloud-KI eingeben darfst, gibst Du sensible Sachen einfach ins lokale Modell. Was nie das Haus verlässt, kann auch nicht durchsickern.

Schritt 2, prüfen was Dein Rechner mitmacht

Lokale Modelle brauchen Arbeitsspeicher, und zwar spürbar. Die Faustregel ist einfach. Hast Du 8 GB RAM und keine dedizierte Grafikkarte, also ein typisches Büro-Notebook oder ein MacBook Air, dann laufen kleine Modelle mit 3 bis 4 Milliarden Parametern gut. Hast Du 16 GB RAM oder eine Grafikkarte mit 8 GB, laufen 7 bis 8 Milliarden Parameter flüssig. Ab 24 GB kannst Du die richtig großen Sachen fahren.

Bei Apple-Rechnern mit M-Chip zählt der geteilte Speicher, ein MacBook mit 18 GB verhält sich ungefähr wie eine Grafikkarte mit 12 GB. Du musst das nicht auswendig lernen. Wichtig ist nur, ehrlich zu sein was Du hast, damit Du nicht ein 40-GB-Modell auf ein 8-GB-Notebook ziehst und Dich wunderst warum nichts geht.

Schritt 3, Ollama installieren, ganz ohne Terminal

Geh auf ollama.com und lad die App für Dein System. Es gibt eine native Version für macOS und für Windows, beide mit grafischer Oberfläche. Unter Windows brauchst Du nicht mal Administrator-Rechte, die App installiert sich in Dein Benutzerverzeichnis. Doppelklick, durchklicken, fertig.

Nach der Installation läuft Ollama im Hintergrund. Auf Deinem Rechner horcht ab jetzt ein kleiner Dienst unter localhost:11434, das ist die Adresse über die alles läuft. Du musst da nichts einstellen, das steht nur hier damit Du es wiedererkennst falls Du es irgendwo siehst.

Schritt 4, das erste Modell laden

Für den Anfang nimm gemma3. Das ist Googles offenes Modell, es kann 140 Sprachen und ist damit deutlich besser im Deutschen als viele andere kleine Modelle. Wenn Du ein schwächeres Notebook hast, nimm die kleine Variante mit 4 Milliarden Parametern, wenn Du mehr Speicher hast die 12er.

In der Desktop-App tippst Du den Modellnamen einfach ins Chat-Feld ein oder wählst ihn aus der Liste, dann lädt Ollama die Datei herunter. Rechne mit ein paar Gigabyte, das dauert beim ersten Mal ein, zwei Minuten je nach Leitung. Danach liegt das Modell auf Deiner Platte und wird nie wieder geladen.

Schritt 5, chatten wie in ChatGPT

Jetzt kommt der Teil der früher gefehlt hat. Die Ollama-App hat ein normales Chat-Fenster. Du tippst Deine Frage rein, druckst Enter, das Modell antwortet. Du kannst Dateien und Bilder per Drag-and-drop reinziehen wenn Du ein Modell nutzt das sehen kann. Es fühlt sich an wie ChatGPT, nur dass unten keine Leitung ins Internet geht.

Probier es mit etwas Konkretem. Wirf eine echte Krankmeldung rein und lass sie zusammenfassen, oder eine Rechnung, oder einen langen Kundentext. Genau das Zeug das Du in eine Cloud nie geben wolltest. Und merk Dir wie es sich anfühlt, dass die Antwort langsamer kommt als bei Cloud-KI. Das ist normal, Dein Rechner ist kein Rechenzentrum.

Schritt 6, der Terminal-Weg, falls Du ihn magst

Manche mogen die Kommandozeile lieber, und für die geht es genauso einfach. Ein einziger Befehl lädt ein Modell und startet den Chat: ollama run gemma3. Willst Du nur herunterladen ohne zu chatten, nimm ollama pull qwen3:4b. Der Doppelpunkt gibt die Größe an, qwen3 in der 4-Milliarden-Variante ist ein guter zweiter Kandidat neben gemma3.

Das Schöne daran, jedes Modell das Du so lädst taucht auch in der Desktop-App auf, und umgekehrt. Terminal und App greifen auf denselben Bestand zu. Du musst Dich also nicht für einen Weg entscheiden.

Schritt 7, das Modell zur Aufgabe wählen

Es gibt nicht das eine beste lokale Modell, es gibt das passende für die Aufgabe und Deine Hardware. Für allgemeines Schreiben und Zusammenfassen auf Deutsch ist gemma3 die sichere Wahl. Für Übersetzungen und mehrsprachige Sachen ist qwen3 stark. Wenn Du programmierst, gibt es eigene Coder-Modelle wie qwen2.5-coder.

Kleine Modelle sind schnell aber vergesslicher und ungenauer, große sind schlau aber langsam und speicherhungrig. Ein guter Startpunkt ist ein 4-Milliarden-Modell, das läuft fast überall. Wenn die Antworten Dir zu dünn sind und Dein Rechner es hergibt, steig auf 7 oder 8 Milliarden. Du kannst mehrere Modelle parallel installiert haben und je nach Aufgabe wechseln.

Schritt 8, ehrlich sein wo lokal an Grenzen stößt

Damit Du nicht enttäuscht wirst, hier die Wahrheit. Ein lokales Modell auf Deinem Notebook ist nicht so schlau wie Opus 4.8. Es kann nicht im Web nachschauen. Es hat keine aktuellen Nachrichten, sein Wissen endet dort wo sein Training aufhörte. Und bei langen komplizierten Aufgaben macht es mehr Fehler als die großen Cloud-Modelle.

Das ist kein Grund es sein zu lassen, das ist ein Grund es richtig einzusetzen. Für sensible Routinearbeit, Zusammenfassen, Umformulieren, erste Entwürfe, Übersetzen, ist ein lokales 8-Milliarden-Modell mehr als genug. Für die harte Denkarbeit nimmst Du weiter die Cloud.

Schritt 9, lokal und Cloud clever kombinieren

Der beste Aufbau ist meistens kein Entweder-oder. Du führst zwei Werkzeuge nebeneinander. Alles was persönlich, vertraulich oder nach Datenschutz riecht, geht ins lokale Modell. Alles wo Du die beste Qualität brauchst und keine sensiblen Daten drinstecken, geht in die Cloud.

In der Praxis heißt das, Du machst den ersten Durchgang mit einem echten Vertrag lokal, streichst die Namen und Zahlen raus, und schickst dann nur den anonymisierten Rest an die große KI wenn Du eine besonders gute Antwort brauchst. So bekommst Du Qualität ohne das sensible Material jemals das Haus verlässt.

Schritt 10, den Datenschutz einmal selbst prüfen

Vertrau nicht einfach dass lokal wirklich lokal ist, pruef es. Der Test dauert eine Minute. Starte einen Chat mit Deinem lokalen Modell, und trenn dabei die Internetverbindung, WLAN aus, Kabel raus. Wenn die Antwort trotzdem kommt, weißt Du sicher, es lief auf Deinem Rechner. Nichts ging raus.

Das ist der Punkt der lokale KI von jedem Datenschutz-Versprechen unterscheidet das Dir eine Cloud-Firma gibt. Du musst niemandem glauben. Du kannst es selbst nachprüfen, indem Du den Stecker ziehst und es weiter funktioniert.

Was als nächstes

Wenn Du wissen willst warum die Cloud-Modelle trotzdem schlauer sind und wo genau der Unterschied herkommt, lohnt sich die Lesson zur Modell-Landschaft in Level 1. Und wenn Du lokale KI in Deinen Arbeitsalltag einbauen willst, ohne bei jeder sensiblen Aufgabe neu nachzudenken was Du eingeben darfst, ist der nächste Schritt eine feste Gewohnheit, sensibel bleibt lokal, unkritisch darf in die Cloud. Genau diese Trennlinie ist der Kern von sauberem KI-Datenschutz.

Quelle

Modellnamen, Befehle und die Adresse localhost:11434 verifiziert gegen die offizielle Ollama-Dokumentation (docs.ollama.com/windows), Stand Juli 2026. Die Angaben zur Desktop-App und zum Modell-Katalog stammen aus derselben Quelle sowie dem Ollama-Modell-Überblick 2026.