Warum die KI zweimal verschieden antwortet

Das Phänomen

Du stellst eine Frage, bekommst eine Antwort, machst das Fenster zu. Später stellst du dieselbe Frage nochmal und bekommst etwas anderes. Andere Wörter, andere Reihenfolge, manchmal ein anderer Schwerpunkt.

Die erste Reaktion ist fast immer dieselbe: Ist das Ding kaputt? Habe ich vorhin die falsche Antwort bekommen?

Weder noch. Das ist normal und liegt daran, wie diese Modelle grundsätzlich funktionieren. Wenn du verstehst warum, kannst du es sogar für dich nutzen.

Warum das passiert

Ein Sprachmodell schlägt keine Antwort nach. Es hat keine Datenbank, in der die Antwort auf deine Frage steht und die es abruft.

Was es tut, ist Stück für Stück das nächste Wort vorherzusagen. Nach "Die Hauptstadt von Frankreich ist" liegt "Paris" so weit vorne, dass praktisch nichts anderes in Frage kommt. Aber nach "Erklär mir kurz, warum" gibt es Dutzende Fortsetzungen, die alle sinnvoll wären. Das Modell hat für jede eine Wahrscheinlichkeit und wählt eine aus.

Und jetzt kommt der Punkt: Diese Auswahl ist nicht immer dieselbe. Fällt sie einmal anders aus, ändert sich alles, was danach kommt. Ein anderes drittes Wort führt zu einem anderen Satz, der zu einem anderen Absatz führt.

Stell dir vor, du bittest jemanden zweimal, dir dieselbe Geschichte zu erzählen. Gleiche Person, gleiche Fakten, trotzdem nie wortgleich. Genau so verhält sich das Modell.

Der Regler dahinter

Wie viel Abwechslung dabei entsteht, lässt sich einstellen. Der Regler heißt Temperatur.

Niedrig eingestellt greift das Modell öfter zur wahrscheinlichsten Fortsetzung. Die Antworten werden vorhersagbarer und ähnlicher, dafür auch trockener und wiederholender. Hoch eingestellt traut es sich mehr, wählt öfter etwas Ungewöhnliches. Das wird kreativer und gleichzeitig riskanter, weil auch mehr Unsinn durchrutscht.

In den normalen Chat-Oberflächen siehst du diesen Regler meist gar nicht, der ist auf einen sinnvollen Mittelwert vorbelegt. In Entwickler-Werkzeugen und Baukästen kannst du ihn oft selbst setzen. Für dich als Einsteiger reicht zu wissen, dass es ihn gibt und dass er erklärt, warum manche Werkzeuge sprunghafter wirken als andere.

Auch "ganz niedrig" heißt nicht "immer identisch"

Man würde erwarten: Regler auf Minimum, und dann kommt jedes Mal exakt dasselbe raus. In der Praxis stimmt das nicht ganz.

Diese Modelle laufen auf Hardware, die sehr viele Anfragen gleichzeitig verarbeitet. Dabei entstehen winzige numerische Unterschiede in der Berechnung. Wenn zwei mögliche Wörter fast gleichauf liegen, kann so ein winziger Unterschied entscheiden, welches gewinnt. Und ab da läuft die Antwort wieder anders weiter.

Für deinen Alltag heißt das schlicht: Verlass dich nie darauf, dass eine Antwort exakt reproduzierbar ist. Wenn du etwas wortgleich brauchst, kopier es dir raus und speicher es. Nicht neu erzeugen lassen und hoffen.

Was das praktisch bedeutet

Verschieden ist nicht falsch. Zwei unterschiedlich formulierte Antworten können beide völlig korrekt sein. Das ist der Normalfall und kein Grund zur Sorge.

Bei kreativen Aufgaben ist die Streuung sogar der Vorteil. Wenn dir eine Überschrift nicht gefällt, lass dir zehn weitere geben. Genau dafür ist die Variation da.

Unangenehm wird es, wenn du etwas Verlässliches brauchst. Immer dasselbe Format, immer dieselbe Struktur, immer dieselbe Einteilung. Dann reicht "mach mir eine Zusammenfassung" nicht. Dann gibst du ein Beispiel für das gewünschte Ergebnis mit und schreibst die Struktur explizit vor. Je genauer du das Ziel beschreibst, desto weniger Spielraum bleibt und desto ähnlicher werden die Antworten. Mehr dazu in Level 2 bei den Grundlagen zum Prompting.

Der Gratis-Faktencheck

Und jetzt das Nützlichste an der ganzen Sache. Du kannst die Streuung als Warnsystem benutzen.

Stell dieselbe Sachfrage zweimal, aber in zwei frischen Chats. Frisch ist wichtig: Im selben Gespräch sieht das Modell seine eigene frühere Antwort und bleibt schon deshalb dabei. Du prüfst dann gar nichts.

Vergleich anschließend nur die harten Angaben. Zahlen, Namen, Jahreszahlen, Paragraphen, Quellen.

Weichen die voneinander ab, ist das ein starkes Alarmsignal. Wenn ein Modell etwas wirklich gelernt hat, kommt bei beiden Durchläufen dasselbe raus, so wie bei Paris. Wackeln die Fakten, hat es sie wahrscheinlich in dem Moment erfunden. Das ist genau das Verhalten, das du in der Lektion zu Halluzinationen kennengelernt hast.

Stimmen beide überein, ist das ein gutes Zeichen, aber kein Beweis. Ein Modell kann auch zweimal denselben Fehler machen, wenn der Fehler schon in den Trainingsdaten steckte. Bei allem, was Geld, Recht oder Gesundheit betrifft, bleibt die echte Quelle Pflicht.

Der Test kostet dich dreißig Sekunden und fängt einen großen Teil der erfundenen Angaben ab.

Die Falle dabei

Es gibt eine Art, diesen Mechanismus falsch zu benutzen, und die ist verführerisch.

Du fragst, die Antwort gefällt dir nicht, du fragst nochmal. Und nochmal. Bis eine kommt, die zu dem passt, was du ohnehin gehofft hattest.

Damit prüfst du nichts, du suchst dir Zustimmung aus. Bei Geschmacksfragen ist das in Ordnung, such dir ruhig die schönste Überschrift aus. Bei Sachfragen führt es dich zuverlässig in die Irre, weil du systematisch die Antworten wegwirfst, die dir widersprechen.

Faustregel: Bei Formulierungen darfst du neu würfeln, bei Fakten nicht.

Merksatz

Das Modell würfelt bei jedem Wort mit, deshalb ist keine Antwort exakt wiederholbar. Unterschiedliche Formulierungen sind harmlos. Unterschiedliche Fakten sind ein Warnsignal, und dieses Signal ist eines der einfachsten Prüfwerkzeuge, das du hast.

Wer verstehen will, warum das Modell nach längeren Gesprächen zusätzlich anders reagiert, findet die Erklärung in der Lektion zu Kontext und Tokens.