KI-Benchmarks lesen ohne dich verarschen zu lassen
Jede KI-Firma behauptet, ihr Modell schlage alle anderen. Zehn Schritte, mit denen Du die Zahlen in der Pressemitteilung einordnest, die üblichen Tricks erkennst und am Ende Deinen eigenen Mini-Test baust, der als Einziger für Deine Arbeit zählt.
Jede Woche verkündet irgendeine KI-Firma, ihr neues Modell habe einen Benchmark gewonnen. Balkendiagramm, ein grüner Balken höher als die grauen, darunter ein Prozentwert mit einer Nachkommastelle. Das Problem ist nicht, dass die Zahlen gelogen wären. Meistens stimmen sie sogar. Das Problem ist, dass sie fast nichts darüber sagen, ob das Modell Deine Aufgabe gut löst. Ein Benchmark misst eine enge, künstliche Aufgabe unter Laborbedingungen. Deine Arbeit ist keine enge, künstliche Aufgabe. Dieser Playbook führt Dich durch zehn Schritte, an deren Ende Du eine Bestenliste anschauen kannst, ohne Dich blenden zu lassen. Er ist für Dich, wenn Du anfängst, ernsthaft KI-Tools zu vergleichen, und keine Lust hast, auf Marketing-Grafiken reinzufallen.
Schritt 1, was ein Benchmark überhaupt misst
Ein Benchmark ist eine Sammlung von Testaufgaben mit bekannter richtiger Antwort. Man gibt sie dem Modell, zählt wie oft es richtig liegt, teilt durch die Gesamtzahl, fertig ist der Prozentwert. Klingt fair. Der Haken sitzt in der Auswahl der Aufgaben. SWE-bench zum Beispiel misst, ob ein Modell echte Fehler in echten Software-Projekten reparieren kann. MMLU misst Multiple-Choice-Wissen quer durch Schulfächer. HumanEval misst, ob das Modell kleine Programmier-Aufgaben löst. Das sind drei völlig verschiedene Dinge. Ein Modell kann bei einem vorne liegen und beim nächsten hinten. Bevor Du eine Zahl glaubst, frag zuerst: was genau wurde da gemessen, und hat das irgendwas mit dem zu tun, wofür ich das Tool nutzen will.
Schritt 2, warum SOTA ein Marketing-Wort ist
SOTA heißt state of the art und soll bedeuten "das Beste, was es gerade gibt". In der Praxis heißt es "das Beste auf dem einen Benchmark, den wir für die Grafik ausgesucht haben". Es gibt hunderte Benchmarks. Eine Firma, die ihr Modell vorstellt, sucht sich die drei bis fünf aus, bei denen sie gut aussieht, und lässt die anderen weg. Das ist nicht mal unehrlich im engeren Sinn, jeder macht es so. Aber es bedeutet, dass "SOTA" in einer Pressemitteilung ungefähr so viel wert ist wie "bestes Restaurant der Straße", wenn die Firma selbst entscheiden darf, welche Straße gemeint ist. Nimm das Wort als das, was es ist: ein Signal, dass Marketing im Raum steht.
Schritt 3, die Kontaminations-Falle
Das ist der wichtigste und am wenigsten erwähnte Punkt. Modelle lernen aus riesigen Mengen Text aus dem Internet. Viele Benchmarks liegen offen im Internet, inklusive der Lösungen. Wenn ein Modell die Testaufgaben und die richtigen Antworten schon im Training gesehen hat, dann prüft der Benchmark nicht mehr, ob es die Aufgabe lösen kann, sondern ob es sich an die Antwort erinnert. Das nennt man Kontamination oder Datenleck. Ein Modell mit 92 Prozent auf einem alten, bekannten Benchmark kann in Wahrheit schwächer sein als eins mit 80 Prozent auf einem frischen, nie veröffentlichten Test. Faustregel: je älter und berühmter ein Benchmark, desto vorsichtiger solltest Du mit hohen Werten sein.
Schritt 4, pass@1 gegen best-of-N
Hier versteckt sich ein Zahlentrick, den fast niemand erklärt. Es gibt zwei Arten, ein Ergebnis zu messen. Bei pass@1 bekommt das Modell einen Versuch, und der muss sitzen. Bei pass@k oder best-of-N darf es die Aufgabe mehrfach versuchen, und es zählt als bestanden, wenn auch nur einer der Versuche richtig war. Der zweite Wert ist immer höher, oft deutlich. Ein Modell, das bei pass@1 auf 55 Prozent kommt, kann bei best-of-10 plötzlich bei 80 landen. Beides sind ehrliche Zahlen, aber sie messen völlig Verschiedenes. In Deinem Alltag hast Du meistens einen Versuch, also ist pass@1 die relevante Zahl. Wenn in einer Grafik nur die hohe Zahl steht und nicht dabeisteht, wie oft das Modell probieren durfte, ist Vorsicht angebracht.
Schritt 5, wer den Test gemacht hat
Es macht einen Unterschied, ob eine Firma ihr eigenes Modell testet oder ob ein unabhängiges Labor beide Modelle unter gleichen Bedingungen prüft. Wenn OpenAI sagt "GPT schlägt Claude" und Anthropic sagt "Claude schlägt GPT", dann testen beide auf ihrem Heimplatz mit ihren Einstellungen. Selbst-gemessene Zahlen sind nicht wertlos, aber sie sind Werbung. Such nach Quellen, bei denen jemand ohne Eigeninteresse gemessen hat, am besten mit offengelegtem Vorgehen. Unabhängige Leaderboards, bei denen Du sehen kannst, wer wie getestet hat und ob sich das nachbauen lässt, sind Gold wert. Eine Grafik im Ankündigungs-Blogpost des Herstellers ist der Anfang der Recherche, nicht das Ende.
Schritt 6, auf welcher Version gemessen wurde
Modelle ändern sich ständig. Ein Name wie "Opus 4.8" oder "GPT-5" bleibt gleich, während dahinter Updates ausgerollt werden. Eine Benchmark-Zahl vom Mai kann für die Version von heute nicht mehr stimmen, in beide Richtungen. Wenn Du eine Zahl liest, schau auf das Datum und auf die exakte Versionsbezeichnung. Das gilt besonders für Vergleiche, die jemand vor Monaten gemacht und nie aktualisiert hat. Solche Vergleiche geistern lange durch Blogposts und werden zitiert, als wären sie noch aktuell. Ein Wert ohne Datum und ohne genaue Modellversion ist ein Wert, den Du nicht einordnen kannst.
Schritt 7, der Sprung von 88 auf 90 Prozent
Wenn ein Modell einen Benchmark mit 90 Prozent besteht und ein anderes mit 88, dann klingt das nach einem Unterschied. Ist es oft aber nicht. Viele bekannte Benchmarks sind gesättigt, das heißt die guten Modelle liegen alle in einem engen Band ganz oben. Die letzten paar Prozentpunkte bestehen dann häufig aus Aufgaben, die selbst für Menschen mehrdeutig oder schlicht fehlerhaft sind. Ein Vorsprung von zwei Punkten in diesem Bereich sagt Dir wenig über die Praxis. Interessanter sind Benchmarks, bei denen noch echte Streuung herrscht, also wo die Modelle wirklich auseinanderliegen. Da erfährst Du mehr über die tatsächlichen Fähigkeiten als bei einem Rennen, das alle mit 89 Komma irgendwas beenden.
Schritt 8, die Lücke zwischen Benchmark und Produktion
Das ist der Punkt, an dem die meisten Enttäuschungen entstehen. Ein Modell, das im Benchmark bei einer bestimmten Aufgabenklasse hohe Werte holt, kann in Deinem echten Ablauf trotzdem unzuverlässig sein. Der Benchmark läuft in einer sauberen Umgebung mit klar gestellten Aufgaben. Deine Realität hat unklare Anweisungen, chaotische Eingaben, lange Gesprächsverläufe und den Anspruch, dass es nicht nur einmal, sondern jedes Mal klappt. Es ist völlig normal, dass ein Modell im Labor stark aussieht und im Dauerbetrieb bei Deiner konkreten Aufgabe deutlich niedriger landet. Deshalb ist die Benchmark-Zahl bestenfalls eine Vorauswahl. Sie sagt Dir, welche Modelle es in die engere Wahl schaffen, nicht welches gewinnt.
Schritt 9, Dein eigener Mini-Benchmark
Das hier ist der einzige Test, der wirklich für Dich zählt. Bau Dir einen kleinen eigenen Vergleich aus zehn bis zwanzig Aufgaben, die genau so aussehen wie das, was Du täglich brauchst. Echte Beispiele aus Deiner Arbeit, keine erfundenen. Gib jede Aufgabe an zwei oder drei Modelle, sammle die Antworten und bewerte selbst, welche brauchbar ist. Notier Dir die Ergebnisse in einer simplen Tabelle. Nach einer Stunde weißt Du mehr über die Modelle als aus jeder Herstellergrafik, weil Du auf Deinen echten Aufgaben gemessen hast und nicht auf Schulfach-Multiple-Choice. Wiederhol das, wenn eine neue Version rauskommt. Genau dieses Vorgehen empfehle ich auch im Playbook zur Modellwahl, dort ist es Schritt acht.
Schritt 10, die drei Fragen die Du immer stellst
Wenn Du in Zukunft eine Benchmark-Zahl siehst, egal wo, stell Dir diese drei Fragen. Erstens, was wurde gemessen, und hat das mit meiner Aufgabe zu tun. Zweitens, wer hat gemessen, und hatte die Person ein Interesse am Ergebnis. Drittens, kann ich das nachvollziehen, gibt es ein Datum, eine Version und ein offengelegtes Vorgehen. Beantworte drei mal ja, dann ist die Zahl ein nützlicher Hinweis. Bleibt eine Frage offen, ist es Marketing, das Du getrost ignorieren kannst. Diese drei Fragen kosten Dich zehn Sekunden und schützen Dich vor den meisten teuren Fehlentscheidungen, die aus dem blinden Vertrauen in eine schöne Grafik entstehen.
Was als nächstes
Wenn Du jetzt weißt, wie Du Zahlen einordnest, ist der logische nächste Schritt, sie in eine echte Wahl zu übersetzen. Der Playbook GPT-5 oder Opus 4.8, welches Modell zeigt Dir das Tier-Denken und den eigenen Mini-Eval an einem konkreten Fall. Für die Grundlagen, warum Modelle sich überhaupt so unterschiedlich verhalten, lies die Lesson Modelle im Vergleich und den Überblick Die Modell-Landschaft 2026. Und wenn Du wissen willst, was diese Modelle im Dauerbetrieb wirklich kosten statt nur was sie können, nimm Dir den Playbook Was kostet KI wirklich vor.