> For the complete documentation index, see [llms.txt](https://weekly-essay.mikey.wang/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://weekly-essay.mikey.wang/fr/2025/w37-hallucinations-and-uncertainty-in-llms.md).

# W37-Hallucinations et incertitude des LLM

Deux articles importants sont parus la semaine dernière, issus des recherches d'OpenAI et de Thinking Machines. Le premier explique pourquoi les grands modèles hallucinent ; le second vérifie l'origine de leur non-déterminisme. Ils apportent beaucoup d'idées contraires au consensus et de véritables connaissances nouvelles.

Le premier est [Why language models hallucinate](https://openai.com/index/why-language-models-hallucinate/), d'OpenAI. Pour aller vite, on peut lire directement les conclusions.

La conclusion surprenante : améliorer l'exactitude ne suffit pas à supprimer complètement les hallucinations, car beaucoup de questions du monde réel n'ont pas de réponse certaine. Mais on peut éviter les hallucinations en autorisant le modèle à s'abstenir et à dire qu'il ne sait pas. Leur fréquence actuelle vient d'un mauvais choix des évaluations et des mesures. L'entraînement ne doit pas suivre seulement l'exactitude, mais aussi le taux d'erreur, le taux d'abstention et la calibration de la confiance.

Un article de conception produit, [Guide de l'architecture des agents d'IA pour les chefs de produit : capacité ne signifie pas adoption](https://substack.com/home/post/p-172725542), complète cette idée par un contrôle architectural des hallucinations centré sur la confiance. Une conclusion contre-intuitive : montrer sa faiblesse dans l'incertitude favorise davantage l'adoption que se tromper avec assurance. Reconnaître le doute, s'abstenir et l'expliquer clairement construit plus de confiance à long terme que deviner avec aplomb. L'auteur insiste sur une couche de confiance : indication de confiance, transparence du raisonnement, modes de confirmation et d'autorisation, limites gérées proprement et recours à l'humain.

Ma compréhension, peut-être imparfaite, est que les modèles actuels privilégient une faible précision et un rappel élevé. Pour éviter les hallucinations et accroître la confiance, il faudrait les entraîner avec une récompense orientée vers une précision élevée et un rappel moindre. Autrement dit, stabiliser d'abord la proportion de propos justes, puis élargir le domaine dans lequel ils osent répondre.

Le second est [Defeating Nondeterminism in LLM Inference](https://thinkingmachines.ai/blog/defeating-nondeterminism-in-llm-inference/), de Thinking Machines. C'est son premier résultat public depuis sa création en début d'année. Une avancée importante serait prévue au quatrième trimestre. C'est aussi la dernière entreprise de modèles de la Silicon Valley à susciter une attente aussi large.

L'explication dominante du non-déterminisme de l'inférence invoque la concurrence de plusieurs kernels GPU et les additions atomiques. L'article indique qu'une passe avant typique de LLM n'utilise aucune addition atomique. La cause fondamentale serait l'absence d'invariance des kernels à la taille et au découpage des lots. Rendre les opérateurs essentiels, RMSNorm, MatMul et Attention, invariants aux lots permet d'obtenir exactement la même sortie pour une entrée donnée, quelle que soit la charge concurrente.

Thinking Machines l'a vérifié avec Qwen3. Le prompt était « Tell me about Richard Feynman », la température fixée à zéro, et chaque génération comptait 1 000 tokens. L'expérience a été répétée 1 000 fois. Les mille résultats étaient identiques, au prix d'une certaine baisse de performance.

J'ai demandé à l'IA ce que cela implique pour les applications. Voici sa réponse.

1. Pour le fine-tuning et l'amélioration des stratégies de dialogue à plusieurs tours, c'est une étape essentielle pour rendre mesurable, en ingénierie, l'efficacité d'une modification de stratégie.
2. Des réponses identiques à température nulle réduisent fortement la méfiance liée aux réponses différentes à une même question, notamment dans les questions-réponses, la reformulation de recherches, les textes de recommandation, les réponses automatiques au support et les explications de contrôle des risques, où la formulation doit rester stable.
3. Pouvoir promettre une même sortie pour une même entrée fonde la traçabilité et l'attribution des responsabilités dans la finance, la santé et les services publics ou aux entreprises, où les exigences de stabilité, d'explicabilité et d'audit sont fortes.