> For the complete documentation index, see [llms.txt](https://weekly-essay.mikey.wang/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://weekly-essay.mikey.wang/ja/2025/w37-hallucinations-and-uncertainty-in-llms.md).

# W37-LLMのハルシネーションと不確実性

先週、OpenAIとThinking Machinesから、重要な研究記事が二つ出た。前者はなぜLLMがハルシネーションを起こすかを説明し、後者は非決定性の根本原因を検証した。一般的な理解に反する点が多く、明確に新しい知識を得られる。

一つ目はOpenAIの[Why language models hallucinate](https://openai.com/index/why-language-models-hallucinate/)。時間がなければ、最後のConclusionsを読めばよい。

直感に反する結論は、正答率を上げてもハルシネーションは完全にはなくならない、ということだ。現実の多くの問いには確定した答えがないからである。しかし、回答を控えて「わからない」と言うことを認めれば、ハルシネーションは避けられる。今のモデルで多いのは、評価と測定の選び方を誤っているためだ。訓練では正答率だけでなく、誤答率、回答を控える割合、確信度の較正も見る必要がある。

関連して読んだ製品設計の記事、[A PM's Guide to AI Agent Architecture: Why Capability Doesn't Equal Adoption](https://substack.com/home/post/p-172725542)は、利用者の信頼という視点から、構造によるハルシネーション制御を示している。不確かな場面で弱さを示すほうが、自信を持って間違うより利用を促す、という直感に反する結論だ。不確実性を認め、回答を控え、透明に説明するほうが、自信満々の推測より長期的な信頼を築ける。著者は「信頼の層」を重視する。確信度の表示、推論の透明性、確認・許可の方式、無理のない限界の示し方、人への引き継ぎである。

正確ではないかもしれないが、私には今のモデルは「低い適合率、高い再現率」を目指しているように見える。ハルシネーションを避け、利用者の信頼を増すには、「高い適合率、低い再現率」へ向かう報酬モデルで訓練すべきだ。言い換えれば、まず「言ったことが正しい」割合を安定させ、それから「言える」範囲を広げる。

二つ目はThinking Machinesの[Defeating Nondeterminism in LLM Inference](https://thinkingmachines.ai/blog/defeating-nondeterminism-in-llm-inference/)だ。今年初めに設立された同社が公開した最初の成果で、Q4には大きな技術成果を出すという。シリコンバレーで広く期待を集める、最後のモデル企業でもある。

LLM推論の非決定性について、主流の見方はGPUの複数カーネルの並行実行（concurrent）とアトミック加算（atomic adds）が原因だというものだ。この記事では、典型的なLLMの順伝播にはアトミック加算自体がないと述べる。根本原因は、カーネルがバッチの大きさや分割方法に対して不変ではなく、バッチ不変性（kernel batch-invariant）を欠くことにある。主要な演算子、RMSNorm、MatMul、Attentionをバッチ不変にすれば、どのような並行負荷でも、同じ入力から完全に同じ出力を得られる。

Thinking MachinesはQwen3で実験した。promptを「Tell me about Richard Feynman」、temperatureを0にし、毎回1,000 tokenを生成、1,000回サンプリングした。結果は1,000回とも完全に一致し、多少の性能低下があった。

LLMアプリへの実際の意味について、AIからは次の答えを得た。

1. 微調整や複数ターンの対話戦略の改善では、「改善が効いたのか」を曖昧な推測からエンジニアリングへ変える重要な一歩になる。
2. temperature=0で回答が一致すれば、同じ質問に違う答えが返る不信感を大きく減らせる。特に、質疑応答、検索文の書き換え、推薦文の生成、顧客対応の自動返信、リスク管理の説明など、一定した表現が必要な経路で有効だ。
3. 同じ入力なら同じ出力になると約束できることは、安定性、説明可能性、監査可能性を求める金融、医療、行政・企業などの厳格なコンプライアンス領域で、追跡可能性と責任の明確化の土台になる。