Läuft KI auch auf meinem eigenen Rechner?

Irgendwann kommt die Frage. Meistens dann, wenn man das erste Mal zögert, bevor man etwas in ein Chatfenster tippt. Ein Arztbrief, ein Arbeitszeugnis, der Entwurf einer Kündigung, Zahlen aus der eigenen Firma. Man tippt es, hält kurz inne und denkt: will ich das wirklich hochladen?

Die gute Nachricht ist, dass es eine Alternative gibt. Sprachmodelle laufen auch auf normalen Rechnern. Nicht die allergrößten, aber erstaunlich brauchbare. Diese Lektion erklärt, was das ist, was es kann und was es nicht kann, damit Du selbst entscheiden kannst, ob es für Dich Sinn ergibt.

Was ein lokales Modell überhaupt ist

Wenn Du ChatGPT benutzt, tippst Du in Deinen Browser und die eigentliche Rechenarbeit passiert in einem Rechenzentrum. Dein Text reist dorthin, das Modell antwortet, die Antwort reist zurück. Das geht schnell und fühlt sich an, als passiere es bei Dir.

Ein lokales Modell ist eine Datei auf Deiner Festplatte. Ein paar Gigabyte groß, und darin stecken die Gewichte, also das, was das Modell beim Training gelernt hat. Wenn Du eine Frage stellst, rechnet Dein eigener Rechner. Du kannst das Netzwerkkabel ziehen und es funktioniert weiter.

Eine Einschränkung gleich vorweg, weil sie später wichtig wird: lokal ist damit das Modell, nicht automatisch das ganze Programm drumherum. Viele Oberflächen können zusätzlich im Web suchen oder Dokumente von einem Cloud-Dienst durchsuchen lassen. Ist das eingeschaltet, gehen Teile Deiner Eingaben doch hinaus. Das lässt sich abstellen, man muss nur wissen, dass es da ist.

Das ist der ganze Unterschied, und er ist gleichzeitig größer und kleiner, als man denkt. Größer beim Datenschutz, weil es die Übermittlung an einen Anbieter bei sauber eingestelltem Programm gar nicht gibt. Kleiner in der Bedienung, weil sich ein lokaler Chat genauso anfühlt wie jeder andere.

Warum das keine Nische mehr ist

Vor zwei Jahren war das etwas für Bastler. Man musste kompilieren, Modelle in seltsame Formate umrechnen und viel Geduld mitbringen.

Heute lädst Du ein Programm herunter, klickst ein Modell an und chattest. Der Grund für diesen Sprung ist nicht bessere Hardware, sondern dass die Modelle deutlich effizienter geworden sind. Ein Modell, das heute in acht Gigabyte passt, ist besser als eines, das vor anderthalb Jahren das Vierfache brauchte.

Dazu kommt, dass große Anbieter ihre Modelle inzwischen selbst zum Herunterladen anbieten. Google, Alibaba, Meta, Mistral und auch OpenAI veröffentlichen Modelle mit offenen Gewichten. Das ist der Grund, warum es heute überhaupt eine Auswahl gibt. Was Du damit tun darfst, regelt die jeweilige Lizenz, und die unterscheidet sich von Modell zu Modell. Sie gilt auch privat, fällt dort nur seltener auf.

Was Dein Rechner dafür braucht

Die entscheidende Größe ist Arbeitsspeicher, nicht Prozessorgeschwindigkeit.

Bei einem Windows-Rechner mit eigener Grafikkarte zählt der Speicher dieser Karte. Bei einem Mac der letzten Jahre zählt die Zahl, die beim Kauf dastand, aber davon steht dem Modell nur ein Teil zur Verfügung, weil Prozessor und Grafik sich denselben Speicher teilen. Ohne Grafikkarte geht es auch, dann rechnet der Hauptprozessor und es dauert länger.

Grob eingeordnet, Stand August 2026, gemeint ist jeweils der nutzbare Speicher: Ab acht Gigabyte läuft ein kleines Modell. Ab sechzehn wird es angenehm. Ab vierundzwanzig wird es inhaltlich ernsthaft. Bei einem Mac heißt das eine Nummer größer einkaufen als die Zahl vermuten lässt. Wenn Du in den letzten drei, vier Jahren einen ordentlichen Rechner gekauft hast, kannst Du es wahrscheinlich ausprobieren.

Wofür es wirklich taugt

Hier wird es konkret, und hier lohnt es sich, ehrlich zu sein, weil zu hohe Erwartungen der häufigste Grund sind, warum Leute nach zwei Tagen aufgeben.

Gut funktioniert alles, was mit einem vorliegenden Text arbeitet. Zusammenfassen, umformulieren, übersetzen, den Ton ändern, aus einem langen Dokument die Kernpunkte ziehen, Texte in Kategorien einsortieren, aus unstrukturierten Notizen eine Liste machen. Das ist der Fleiß-Anteil der Textarbeit, und den erledigt ein lokales Modell ordentlich.

Auch gut: Fragen zu einem Dokument, das Du dazulegst. Genau der Fall, bei dem Du vorher gezögert hast.

Ein Wort zur Vorsicht, weil hier zwei Dinge gern verwechselt werden. Dass die Daten Deinen Rechner nicht verlassen, macht die Antwort nicht richtiger. Bei einem Arztbrief, einem Vertrag oder einem Bescheid ist eine Zusammenfassung eine Verständnishilfe und keine verlässliche Wiedergabe: gerade Verneinungen, Dosierungen, Fristen und Beträge werden von kleinen Modellen schon mal verdreht. Nimm die Zusammenfassung als Einstieg, lies die entscheidenden Stellen im Original nach, und triff keine Entscheidung allein auf ihrer Grundlage.

Wo es klar verliert

Schwierig wird es überall dort, wo wirklich gedacht werden muss. Lange Ketten von Schlussfolgerungen, bei denen Schritt sieben auf Schritt drei aufbaut. Anspruchsvolle Programmierarbeit, bei der die Struktur eines ganzen Systems im Blick bleiben muss. Selbstständiges Arbeiten über viele Schritte hinweg.

Da sind die großen Modelle nicht ein bisschen besser, sondern deutlich. Und das ändert sich auch nicht nächste Woche, denn es ist der Preis dafür, dass etwas auf einem Gerät läuft, das unter Deinem Schreibtisch steht statt in einer Halle voller Spezialhardware.

Auch das allgemeine Weltwissen ist geringer. Ein kleines Modell weiß weniger und erfindet dafür etwas häufiger. Die Grenzen aus der Lektion Was die KI nicht kann gelten hier also nicht nur, sie sind ausgeprägter.

Der Punkt, an dem es interessant wird

Es gibt eine Sache, die den Größenunterschied teilweise ausgleicht, und sie ist der rote Faden dieser Academy.

Ein Modell, das Deinen Kontext kennt, schlägt ein stärkeres, das raten muss. Wenn Du einem kleinen lokalen Modell die richtigen Unterlagen dazulegst, ist es bei Fragen zu Deinem Projekt besser als ein großes Modell, das Dein Projekt nicht kennt. Nicht weil es klüger wäre, sondern weil die Antwort in den Unterlagen steht und nicht im Modell stecken muss.

Genau deshalb ist lokal und Gedächtnis eine so gute Kombination. Ab Level 4 geht es darum ausführlich.

Wann sich der Aufwand lohnt

Vier Fälle, in denen es sich eindeutig lohnt.

Wenn Du regelmäßig mit Daten arbeitest, die nicht nach draußen dürfen. Das ist der stärkste Grund und für viele Berufe der einzige, der zählt.

Wenn Du sehr viel Gleichartiges verarbeitest. Tausende Texte sortieren kostet in der Cloud pro Stück, auf dem eigenen Rechner läuft es einfach durch.

Wenn Du oft ohne verlässliches Netz arbeitest.

Und wenn Du verstehen willst, wie das alles funktioniert. Ein Modell, bei dem Du die Datei sehen und löschen kannst, entzaubert die Sache auf eine nützliche Weise.

Wenn keiner dieser vier Fälle zutrifft, ist es völlig in Ordnung, bei der Cloud zu bleiben. Die meisten produktiven Aufbauten sind ohnehin gemischt: das Lokale für Heikles und für Masse, die großen Modelle für die schweren Fälle.

Wie Du es ausprobierst, ohne etwas kaputt zu machen

Es ist umkehrbar. Du installierst ein Programm, lädst ein Modell, probierst eine Woche, und wenn es nichts für Dich ist, entfernst Du es wieder. Denk dabei daran, dass das Modell und Deine hochgeladenen Dokumente an verschiedenen Stellen liegen und beide weg müssen; das Playbook zeigt den vollständigen Weg. Kein Konto, kein Abo, keine Kündigungsfrist, nur ein paar Gigabyte Festplattenplatz, die Du zurückbekommst.

Die Schritt-für-Schritt-Anleitung steht im Playbook Dein erstes lokales KI-Modell in 30 Minuten. Wenn Du vorher wissen willst, welches Modell zu Deinem Rechner passt, klärt das Welches lokale Modell zu Deiner Hardware passt.

Quiz

1. Was ist der wichtigste Vorteil eines lokalen Modells gegenüber der Cloud?

• A) Es ist klüger als die großen Modelle
• B) Deine Daten verlassen den Rechner nicht
• C) Es antwortet immer schneller

Richtig ist B, sofern das Programm drumherum vollständig lokal eingestellt ist. Klüger ist es nicht, und schneller meistens auch nicht. Der Vorteil ist, dass es keine Übermittlung an einen Anbieter gibt, solange Websuche und Cloud-Dienste in der Oberfläche aus sind.

2. Welche Zahl entscheidet vor allem, welches Modell auf Deinem Rechner läuft?

• A) Die Taktfrequenz des Prozessors
• B) Die Größe der Festplatte
• C) Der verfügbare Arbeits- oder Grafikspeicher

Richtig ist C. Das Modell muss beim Antworten im Speicher liegen. Die Festplatte begrenzt nur, wie viele Modelle Du gleichzeitig herumliegen hast.

3. Für welche Aufgabe ist ein kleines lokales Modell am besten geeignet?

• A) Die Architektur einer komplexen Software entwerfen
• B) Einen vertraulichen Arztbrief in einfache Sprache übersetzen
• C) Eine mehrstufige Recherche selbstständig durchführen

Richtig ist B. Mit einem vorliegenden Text arbeiten ist die Stärke, und der vertrauliche Inhalt ist genau der Grund, warum lokal hier gewinnt. Wichtig bleibt dabei: die Übersetzung ist eine Verständnishilfe, die entscheidenden Stellen liest Du im Original nach. A und C brauchen tiefes Denken über viele Schritte, und da verliert das kleine Modell deutlich.

Source

Angaben zu Speicherbedarf sind Näherungen, Stand August 2026, und ändern sich mit jeder Modell-Generation.

• Ollama, Einstieg und Modell-Bibliothek: ollama.com
• LM Studio, Oberfläche für lokale Modelle: lmstudio.ai
• Hugging Face, Modellkarten mit Lizenz und Größe: huggingface.co/models