Leer benchmarks de IA sin que te tomen el pelo

Cada semana alguna empresa de IA anuncia que su nuevo modelo ha ganado un benchmark. Un gráfico de barras, una barra verde más alta que las grises y debajo un porcentaje con un decimal. El problema no es que las cifras sean mentira. La mayoría de las veces incluso son correctas. El problema es que no dicen casi nada sobre si el modelo resuelve bien tu tarea. Un benchmark mide una tarea estrecha y artificial en condiciones de laboratorio. Tu trabajo no es una tarea estrecha y artificial. Este playbook te lleva por diez pasos, y al final de ellos puedes mirar una tabla de clasificación sin dejarte deslumbrar. Es para ti si empiezas a comparar herramientas de IA en serio y no tienes ganas de caer en los gráficos de marketing.

Paso 1, qué mide realmente un benchmark

Un benchmark es una colección de tareas de prueba con respuesta correcta conocida. Se le dan al modelo, se cuenta cuántas veces acierta, se divide por el total y ya tienes el porcentaje. Suena justo. El truco está en la selección de las tareas. SWE-bench, por ejemplo, mide si un modelo es capaz de reparar errores reales en proyectos de software reales. MMLU mide conocimiento tipo test a través de asignaturas escolares. HumanEval mide si el modelo resuelve pequeños ejercicios de programación. Son tres cosas completamente distintas. Un modelo puede ir por delante en uno y por detrás en el siguiente. Antes de creerte una cifra, pregunta primero: qué se ha medido exactamente ahí y si eso tiene algo que ver con aquello para lo que quiero usar la herramienta.

Paso 2, por qué SOTA es una palabra de marketing

SOTA significa state of the art y debería querer decir "lo mejor que hay ahora mismo". En la práctica quiere decir "lo mejor en el único benchmark que hemos elegido para el gráfico". Hay cientos de benchmarks. Una empresa que presenta su modelo elige los tres o cinco en los que queda bien y deja fuera los demás. Ni siquiera es deshonesto en sentido estricto, lo hace todo el mundo. Pero significa que "SOTA" en una nota de prensa vale más o menos lo mismo que "el mejor restaurante de la calle" cuando la propia empresa decide de qué calle hablamos. Toma la palabra por lo que es: una señal de que hay marketing en la sala.

Paso 3, la trampa de la contaminación

Este es el punto más importante y el que menos se menciona. Los modelos aprenden de cantidades enormes de texto de internet. Muchos benchmarks están abiertos en internet, soluciones incluidas. Si un modelo ya ha visto las tareas de prueba y las respuestas correctas durante el entrenamiento, entonces el benchmark ya no comprueba si sabe resolver la tarea, sino si recuerda la respuesta. A eso se le llama contaminación o fuga de datos. Un modelo con un 92 por ciento en un benchmark antiguo y famoso puede en realidad ser más débil que uno con un 80 por ciento en una prueba nueva nunca publicada. Regla práctica: cuanto más viejo y más célebre es un benchmark, más prudente deberías ser con las cifras altas.

Paso 4, pass@1 frente a best-of-N

Aquí se esconde un truco numérico que casi nadie explica. Hay dos maneras de medir un resultado. Con pass@1 el modelo tiene un intento y tiene que clavarlo. Con pass@k o best-of-N puede intentar la tarea varias veces y cuenta como superada si al menos uno de los intentos fue correcto. La segunda cifra siempre es más alta, a menudo bastante. Un modelo que llega al 55 por ciento con pass@1 puede aterrizar de repente en el 80 con best-of-10. Las dos son cifras honestas, pero miden cosas completamente distintas. En tu día a día casi siempre tienes un intento, así que pass@1 es la cifra relevante. Si en un gráfico solo aparece la cifra alta y no dice cuántas veces pudo probar el modelo, conviene desconfiar.

Paso 5, quién ha hecho la prueba

No es lo mismo que una empresa pruebe su propio modelo a que un laboratorio independiente examine los dos modelos en las mismas condiciones. Cuando OpenAI dice "GPT gana a Claude" y Anthropic dice "Claude gana a GPT", los dos están probando en casa y con sus ajustes. Las cifras medidas por uno mismo no carecen de valor, pero son publicidad. Busca fuentes en las que haya medido alguien sin interés propio, a poder ser con el procedimiento a la vista. Las tablas de clasificación independientes, donde puedes ver quién probó cómo y si se puede reproducir, valen oro. Un gráfico en el blog de anuncio del fabricante es el principio de la investigación, no el final.

Paso 6, sobre qué versión se ha medido

Los modelos cambian constantemente. Un nombre como "Opus 4.8" o "GPT-5" se mantiene igual mientras por detrás se despliegan actualizaciones. Una cifra de benchmark de mayo puede ya no valer para la versión de hoy, en cualquiera de las dos direcciones. Cuando leas una cifra, mira la fecha y la denominación exacta de la versión. Esto vale sobre todo para comparativas que alguien hizo hace meses y nunca actualizó. Esas comparativas siguen dando vueltas mucho tiempo por los blogs y se citan como si siguieran vigentes. Un valor sin fecha y sin versión concreta del modelo es un valor que no puedes situar.

Paso 7, el salto del 88 al 90 por ciento

Cuando un modelo supera un benchmark con un 90 por ciento y otro con un 88, suena a diferencia. Muchas veces no lo es. Muchos benchmarks conocidos están saturados, es decir, los buenos modelos están todos en una banda estrecha arriba del todo. Los últimos puntos porcentuales consisten entonces a menudo en tareas que resultan ambiguas o directamente erróneas incluso para personas. Una ventaja de dos puntos en esa zona te dice poco sobre la práctica. Son más interesantes los benchmarks donde todavía hay dispersión real, donde los modelos se separan de verdad. Ahí aprendes más sobre las capacidades reales que en una carrera que todos terminan con un 89 y pico.

Paso 8, la brecha entre benchmark y producción

Este es el punto donde nacen la mayoría de las decepciones. Un modelo que en el benchmark saca cifras altas en una clase concreta de tareas puede ser igualmente poco fiable en tu flujo de trabajo real. El benchmark corre en un entorno limpio con tareas claramente planteadas. Tu realidad tiene instrucciones poco claras, entradas caóticas, conversaciones largas y la exigencia de que funcione no una vez, sino cada vez. Es totalmente normal que un modelo se vea fuerte en el laboratorio y aterrice bastante más bajo en tu tarea concreta en uso continuo. Por eso la cifra del benchmark es, como mucho, una preselección. Te dice qué modelos entran en la lista corta, no cuál gana.

Paso 9, tu propio minibenchmark

Esta es la única prueba que de verdad cuenta para ti. Constrúyete una comparativa pequeña con diez o veinte tareas que se parezcan exactamente a lo que necesitas a diario. Ejemplos reales de tu trabajo, no inventados. Da cada tarea a dos o tres modelos, recoge las respuestas y valora tú mismo cuál es aprovechable. Apunta los resultados en una tabla sencilla. Después de una hora sabrás más sobre los modelos que con cualquier gráfico de fabricante, porque has medido sobre tus tareas reales y no sobre preguntas tipo test de asignaturas. Repítelo cuando salga una versión nueva. Este mismo procedimiento lo recomiendo también en el playbook sobre la elección de modelo, allí es el paso ocho.

Paso 10, las tres preguntas que haces siempre

Cuando en el futuro veas una cifra de benchmark, dondequiera que sea, hazte estas tres preguntas. Primera, qué se ha medido y si tiene que ver con mi tarea. Segunda, quién ha medido y si esa persona tenía interés en el resultado. Tercera, puedo seguir el rastro, hay una fecha, una versión y un procedimiento a la vista. Si respondes que sí tres veces, la cifra es una pista útil. Si queda una pregunta abierta, es marketing y lo puedes ignorar tranquilamente. Esas tres preguntas te cuestan diez segundos y te protegen de la mayoría de las decisiones caras y equivocadas que nacen de confiar a ciegas en un gráfico bonito.

Qué viene después

Ahora que sabes situar las cifras, el siguiente paso lógico es traducirlas en una elección real. El playbook GPT-5 u Opus 4.8, qué modelo te enseña el pensamiento por niveles y tu propia minievaluación sobre un caso concreto. Para las bases, para entender por qué los modelos se comportan de forma tan distinta, lee la lección Modelos comparados y el panorama El panorama de modelos 2026. Y si quieres saber lo que cuestan de verdad estos modelos en uso continuo en vez de solo lo que saben hacer, ponte con el playbook Lo que cuesta de verdad la IA.