> For the complete documentation index, see [llms.txt](https://weekly-essay.mikey.wang/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://weekly-essay.mikey.wang/es/2025/w37-hallucinations-and-uncertainty-in-llms.md).

# W37-Alucinaciones e incertidumbre en los LLM

La semana pasada aparecieron dos artículos importantes, fruto de investigaciones de OpenAI y Thinking Machines. El primero explica por qué los grandes modelos alucinan; el segundo verifica la causa del comportamiento no determinista de estos modelos. Ambos contienen muchas ideas que contradicen el consenso y aportan conocimiento nuevo.

El primero es [Por qué alucinan los modelos de lenguaje](https://openai.com/index/why-language-models-hallucinate/), de OpenAI. Para una versión breve, se puede ir directamente a la sección final, Conclusions.

La conclusión contraintuitiva es que mejorar la exactitud del modelo no puede eliminar por completo las alucinaciones, porque muchas preguntas del mundo real no tienen una respuesta determinada. Sin embargo, sí es posible evitar las alucinaciones si se permite que el modelo se abstenga y responda «no lo sé». La elevada tasa actual de alucinaciones se debe a una elección errónea de las evaluaciones y las métricas. Al entrenar no basta con observar la exactitud: también hay que mirar las tasas de error y de abstención, además de la calibración de la confianza.

Lo relaciono con un artículo sobre diseño de arquitectura de productos que leí, [Guía de arquitectura de agentes de IA para responsables de producto: por qué la capacidad no equivale a adopción](https://substack.com/home/post/p-172725542). Propone controlar las alucinaciones desde la arquitectura, partiendo de la confianza del usuario. Una conclusión contraintuitiva es que mostrar las propias limitaciones ante la incertidumbre favorece más la adopción que equivocarse con seguridad. Cuando el modelo no está seguro, reconocerlo, abstenerse y explicar con transparencia construye más confianza a largo plazo que adivinar con aplomo. El autor destaca una «capa de confianza»: indicadores de confianza, transparencia del razonamiento, mecanismos de confirmación y permiso, gestión cuidadosa de los límites y derivación a una persona.

Mi propia interpretación, quizá no del todo precisa, es que los grandes modelos actuales tienden a una «precisión baja y una exhaustividad alta». Para evitar alucinaciones y aumentar la confianza del usuario, habría que entrenarlos con un modelo de recompensa orientado a una «precisión alta y una exhaustividad baja». Dicho de otro modo, primero estabilizar la proporción de respuestas correctas y luego ampliar el campo de lo que se atreven a responder.

El segundo artículo es [Cómo vencer el no determinismo en la inferencia de los LLM](https://thinkingmachines.ai/blog/defeating-nondeterminism-in-llm-inference/), de Thinking Machines. Es el primer trabajo que publica la empresa desde su fundación a principios de año. Se dice que en el cuarto trimestre anunciará un avance técnico importante. Es también la última empresa de modelos de Silicon Valley que despierta expectativas generalizadas.

La explicación dominante atribuye el no determinismo de la inferencia de los LLM a la concurrencia de varios kernels de la GPU y a las sumas atómicas. Este artículo afirma que, en una pasada hacia delante típica de un LLM, no hay ninguna suma atómica. La causa fundamental es que los kernels no son sensibles al tamaño o a la división de los lotes y carecen de invariancia respecto al lote (*kernel batch-invariant*). Una vez que los operadores clave —RMSNorm, MatMul y Attention— se vuelven invariantes respecto al lote, una misma entrada puede producir una salida exactamente idéntica bajo cualquier carga concurrente.

Thinking Machines lo comprobó con Qwen3. El prompt era «Tell me about Richard Feynman», la temperatura se fijó en 0 y se generaron 1.000 tokens en cada una de las 1.000 muestras. Las 1.000 generaciones resultaron completamente idénticas, con cierta pérdida de rendimiento.

Sobre su importancia práctica para las aplicaciones de grandes modelos, la IA me dio estas respuestas.

1. Para el ajuste fino y la mejora de las estrategias de conversación de varios turnos, es un paso clave para convertir la pregunta «¿funciona esta mejora de la estrategia?» en un problema de ingeniería y sacarla del terreno de la especulación.
2. La consistencia de las respuestas a temperatura cero (temperature=0) puede reducir mucho la desconfianza del usuario ante respuestas diferentes a la misma pregunta. Esto importa especialmente en procesos que necesitan formulaciones estables, como preguntas y respuestas, reformulación de búsquedas, generación de textos de recomendación, respuestas automáticas de atención al cliente y explicaciones del control de riesgos.
3. Poder prometer que «la misma entrada produce la misma salida» es la base de la trazabilidad y de la delimitación de responsabilidades en sectores con fuertes exigencias normativas, como finanzas, sanidad, administraciones y empresas, donde se requieren estabilidad, explicabilidad y auditabilidad.