Por qué la IA responde distinto la segunda vez
La misma pregunta, otra respuesta. A qué se debe, cuándo debería preocuparte y cómo convertirlo en una verificación gratuita.
El fenómeno
Haces una pregunta, recibes una respuesta, cierras la ventana. Más tarde haces la misma pregunta otra vez y recibes algo distinto. Otras palabras, otro orden, a veces otro énfasis.
La primera reacción es casi siempre la misma. ¿Está roto esto? ¿Me dieron antes la respuesta equivocada?
Ni una cosa ni la otra. Es normal y tiene que ver con cómo funcionan estos modelos en el fondo. Si entiendes por qué, incluso puedes aprovecharlo a tu favor.
Por qué pasa
Un modelo de lenguaje no consulta una respuesta. No tiene ninguna base de datos en la que esté la respuesta a tu pregunta y de la que la saque.
Lo que hace es predecir, palabra a palabra, cuál viene después. Tras "La capital de Francia es", "París" va tan por delante que prácticamente no entra nada más en juego. Pero tras "Explícame brevemente por qué" hay decenas de continuaciones que tendrían sentido. El modelo tiene una probabilidad para cada una y elige una.
Y aquí viene lo importante. Esa elección no siempre es la misma. Si una vez sale distinta, cambia todo lo que viene después. Una tercera palabra distinta lleva a otra frase, que lleva a otro párrafo.
Imagínate que le pides a alguien dos veces que te cuente la misma historia. La misma persona, los mismos hechos y aun así nunca palabra por palabra igual. Así se comporta exactamente el modelo.
El mando que hay detrás
Cuánta variación surge se puede ajustar. El mando se llama temperatura.
Con el ajuste bajo, el modelo recurre más a menudo a la continuación más probable. Las respuestas se vuelven más previsibles y más parecidas entre sí, pero también más secas y repetitivas. Con el ajuste alto se atreve más y elige algo inusual con más frecuencia. Eso resulta más creativo y a la vez más arriesgado, porque también se cuela más disparate.
En las interfaces de chat normales no sueles ver este mando, viene preconfigurado en un valor intermedio razonable. En herramientas de desarrollo y kits de montaje muchas veces puedes ajustarlo tú. Para ti, como principiante, basta con saber que existe y que explica por qué algunas herramientas parecen más saltarinas que otras.
Ni siquiera "al mínimo" significa "siempre idéntico"
Uno esperaría que, con el mando al mínimo, saliera exactamente lo mismo cada vez. En la práctica eso no es del todo cierto.
Estos modelos corren sobre hardware que procesa muchísimas peticiones a la vez. En ese proceso surgen diferencias numéricas mínimas en el cálculo. Cuando dos palabras posibles están casi empatadas, una diferencia tan pequeña puede decidir cuál gana. Y a partir de ahí la respuesta vuelve a seguir otro camino.
Para tu día a día esto significa, simplemente, que nunca te fíes de que una respuesta sea exactamente reproducible. Si necesitas algo palabra por palabra, cópialo y guárdalo. No lo mandes generar de nuevo y cruces los dedos.
Qué significa esto en la práctica
Distinto no es incorrecto. Dos respuestas formuladas de forma diferente pueden ser ambas totalmente correctas. Ese es el caso normal y no hay motivo de preocupación.
En tareas creativas, la dispersión es incluso la ventaja. Si un titular no te gusta, pide diez más. Justo para eso está la variación.
La cosa se pone incómoda cuando necesitas algo fiable. Siempre el mismo formato, siempre la misma estructura, siempre la misma división. Entonces "hazme un resumen" no basta. Entonces le pasas un ejemplo del resultado que quieres y le indicas la estructura de forma explícita. Cuanto más preciso describas el objetivo, menos margen queda y más parecidas salen las respuestas. Más sobre esto en el nivel 2, en los fundamentos de prompting.
La verificación gratuita
Y ahora lo más útil de todo el asunto. Puedes usar la dispersión como sistema de alarma.
Haz la misma pregunta de hechos dos veces, pero en dos chats nuevos. Que sean nuevos es importante: en la misma conversación el modelo ve su propia respuesta anterior y ya solo por eso se queda con ella. Así no estarías comprobando nada.
Compara después solo los datos duros. Cifras, nombres, años, artículos de ley, fuentes.
Si difieren entre sí, es una señal de alarma fuerte. Cuando un modelo ha aprendido algo de verdad, en las dos pasadas sale lo mismo, igual que con París. Si los datos bailan, probablemente se los ha inventado en ese momento. Ese es exactamente el comportamiento que conociste en la lección sobre alucinaciones.
Si ambas coinciden, es buena señal, pero no una prueba. Un modelo también puede cometer dos veces el mismo error si el error ya estaba en los datos de entrenamiento. En todo lo que tenga que ver con dinero, derecho o salud, la fuente real sigue siendo obligatoria.
La prueba te cuesta treinta segundos y detecta buena parte de los datos inventados.
La trampa que tiene
Hay una manera de usar mal este mecanismo, y es tentadora.
Preguntas, la respuesta no te gusta, preguntas otra vez. Y otra. Hasta que llega una que encaja con lo que ya esperabas de todos modos.
Con eso no compruebas nada, te estás buscando que te den la razón. En cuestiones de gusto está bien, elige tranquilamente el titular más bonito. En cuestiones de hechos te lleva al error de forma fiable, porque tiras sistemáticamente las respuestas que te contradicen.
Regla práctica: en las formulaciones puedes volver a tirar el dado, en los hechos no.
Frase para recordar
El modelo tira el dado en cada palabra, por eso ninguna respuesta es exactamente repetible. Las formulaciones distintas son inofensivas. Los hechos distintos son una señal de alarma, y esa señal es una de las herramientas de comprobación más sencillas que tienes.
Quien quiera entender por qué además el modelo reacciona de otra forma tras conversaciones largas, encontrará la explicación en la lección sobre contexto y tokens.