Was die KI nicht kann, egal wie gut Du fragst

Es gibt eine Sorte KI-Fehler, bei der alle Ratschläge versagen. Du formulierst besser, Du gibst mehr Kontext, Du wechselst das Modell, und trotzdem kommt derselbe Unsinn zurück. Das liegt nicht an Deinem Prompt. Es liegt daran, dass Du etwas verlangst, das die Bauart nicht hergibt.

Diese Lektion ist die Landkarte dieser Grenzen. Sie ist absichtlich unspektakulär, denn sobald Du sie kennst, hörst Du auf, Zeit in Prompts zu stecken, die nie funktionieren werden.

Der Unterschied zur Halluzination

In Halluzinationen erkennen ging es darum, dass das Modell Fakten erfindet und sie überzeugend verkauft. Das ist ein Wahrheitsproblem, und die Gegenmaßnahme ist Nachprüfen.

Hier geht es um etwas anderes: um Fähigkeitsgrenzen. Das Modell lügt nicht, es kann bestimmte Operationen schlicht nicht ausführen. Die Gegenmaßnahme ist deshalb auch eine andere. Nachprüfen hilft Dir hier wenig. Du musst die Aufgabe umbauen oder ein Werkzeug danebenstellen.

Merk Dir den Unterschied so: Bei Halluzinationen kontrollierst Du das Ergebnis. Bei Fähigkeitsgrenzen änderst Du die Aufgabe.

Sie zählt nicht, sie schätzt

Frag ein Sprachmodell, wie viele r in "Erdbeere" stecken. Die Antwort ist erstaunlich oft falsch, obwohl jedes Grundschulkind auf zwei kommt.

Der Grund ist unauffällig und wichtig: Das Modell sieht Deinen Text nicht als Buchstabenkette. Es zerlegt ihn vorher in Bausteine, sogenannte Tokens, und ein Token ist meistens eine Silbe oder ein ganzes kurzes Wort, nicht ein einzelner Buchstabe. Das Modell schaut also gar nicht auf die Buchstaben, über die Du sprichst. Es antwortet aus dem Gefühl heraus, wie so eine Antwort normalerweise klingt.

Dasselbe gilt für alles, was mit Abzählen zu tun hat. Wie viele Wörter hat dieser Absatz, wie viele Einträge stehen in der Liste, ist das die dritte oder die vierte Zeile. Überall dort wirst Du auf plausible, aber unzuverlässige Zahlen stoßen.

Sie rechnet nicht, sie erinnert sich an Rechnungen

Bei 12 mal 12 stimmt das Ergebnis. Bei 4.837 mal 2.916 wird es interessant. Nicht weil die zweite Rechnung schwerer wäre, sondern weil die erste millionenfach im Trainingstext stand und die zweite nicht.

Ein Sprachmodell führt keine Rechnung aus. Es sagt vorher, welche Zeichen nach einem Gleichheitszeichen üblicherweise kommen. Bei bekannten Aufgaben trifft das zu, bei ungewöhnlichen Zahlen fällt es auseinander. Und das Tückische: Das Ergebnis sieht immer aus wie ein Ergebnis. Es kommt keine Warnung mit.

Sobald Geld, Fristen oder Mengen im Spiel sind, gehört jede Rechnung in eine Tabelle oder in einen Taschenrechner. Auch dann, wenn die KI schon eine Zahl genannt hat.

Sie weiß nicht, welcher Tag heute ist

Ein Modell hat kein Zeitgefühl. Es hat einen Trainingsstand, und danach ist für seine Innenwelt nichts mehr passiert. Wenn Dir ein Chat trotzdem das korrekte Datum nennt, dann meistens deshalb, weil die Anwendung es ihm unsichtbar mitgegeben hat, oder weil es kurz im Netz nachgesehen hat.

Daraus folgen zwei Dinge für Deinen Alltag. Erstens: Rechne nicht damit, dass das Modell weiß, was letzte Woche passiert ist. Zweitens, und das übersehen die meisten: Frag nicht das Modell selbst, wie aktuell es ist. Diese Auskunft ist erfahrungsgemäß unzuverlässig, weil das Modell auch über sich selbst nur aus dem Trainingstext heraus antwortet.

Wenn Aktualität zählt, brauchst Du ein Tool, das nachschaut, und eine Quelle, die Du selbst öffnest.

Sie kann nicht würfeln

Bitte eine KI zehn Mal um eine Zufallszahl zwischen 1 und 100, jedes Mal in einem frischen Chat. Du wirst auffällig oft dieselben Zahlen sehen.

Das ist kein Bug. Das Modell wählt nicht zufällig, es wählt das Wahrscheinlichste. Und in den Texten, mit denen es trainiert wurde, kommen bestimmte Zahlen als "zufällige Zahl" eben häufiger vor als andere. Wo Menschen zufällig tippen, hat auch die Maschine eine Schlagseite.

Praktisch heißt das: Für Losentscheidungen, Stichproben oder Passwörter ist ein Sprachmodell das falsche Werkzeug. Nimm dafür etwas, das wirklich würfelt.

Sie vergisst Dich zwischen zwei Chats

Ein neuer Chat startet bei null. Was Du gestern erklärt hast, welche Abkürzungen in Deiner Firma gelten, wie Du angesprochen werden willst, all das ist weg. Nicht gelöscht im Sinne von verloren, sondern nie in das Modell hineingewandert. Das Modell selbst lernt aus Eurem Gespräch nichts dazu.

Was sich in manchen Werkzeugen wie Erinnerung anfühlt, ist eine Schicht darüber: Notizen, die die Anwendung speichert und beim nächsten Mal wieder mit hineinreicht. Nützlich, aber eben etwas, das jemand gebaut hat, und nicht etwas, das das Modell von sich aus kann.

Wenn Du wissen willst, wie so eine Schicht funktioniert und wie Du sie Dir selbst einrichtest, liegt der ganze Level 4 darauf. Der Einstieg ist Warum Memory.

Sie kennt sich selbst nicht

Frag ein Modell, welches Modell es ist, wie sicher es sich bei seiner letzten Antwort war oder wie lang der Text war, den es gerade geschrieben hat. Alle drei Antworten klingen souverän und sind alle drei schwach belegt.

Ein Modell hat keinen Blick auf sich selbst. Es kann seine eigene Zuverlässigkeit nicht messen, und es zählt seine eigene Ausgabe nicht mit. Deshalb scheitert auch der Klassiker "schreib mir genau 200 Wörter" so verlässlich. Es schreibt etwas, das ungefähr nach 200 Wörtern aussieht, und hört auf, wenn es sich rund anfühlt.

Wenn eine exakte Länge zählt, gib eine Struktur vor statt einer Zahl. Fünf Absätze, drei Sätze pro Absatz. Das trifft das Modell, weil es zählbare Einheiten sind, die es beim Schreiben ohnehin setzt.

Was Du stattdessen machst

Drei Bewegungen decken fast alles ab.

Die erste: Gib der KI ein Werkzeug statt einer Aufgabe. Zählen, rechnen, das aktuelle Datum, echter Zufall, all das sind Dinge, die ein Computer perfekt kann, nur eben nicht der Textteil davon. Moderne Assistenten können deshalb Werkzeuge aufrufen, und genau dafür sind sie da. Wie das technisch läuft, steht in Tools in AI.

Die zweite: Bau die Aufgabe um. Statt "wie viele Kunden stehen in der Liste" lieber "gib die Liste nummeriert aus", dann siehst Du die Zahl am Ende selbst. Statt einer exakten Wortzahl eine Struktur. Statt einer Rechnung eine Formel, die Du in Deine Tabelle einsetzt.

Die dritte: Erkenne die Kategorie früh. Wenn eine Antwort exakt und überprüfbar sein muss und ein Taschenrechner, ein Kalender oder ein Suchfeld sie besser beantworten würde, dann ist es keine Prompt-Frage. Dann ist es die falsche Werkzeugwahl.

Der Satz zum Mitnehmen

Ein Sprachmodell ist gut darin, Sprache zu erzeugen, und mittelmäßig bis schlecht in allem, was Exaktheit braucht. Das ist keine Schwäche, die mit der nächsten Version verschwindet. Es ist die Beschreibung dessen, was es ist.

Wer das weiß, hört auf, gegen die Bauart anzuprompten, und fängt an, die richtige Arbeit an der richtigen Stelle zu erledigen.