> For the complete documentation index, see [llms.txt](https://weekly-essay.mikey.wang/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://weekly-essay.mikey.wang/ja/2025/w28-the-bitter-lesson.md).

# W28-The Bitter Lesson

最近になって、『The Bitter Lesson』という短い文章の重みを知った。2019年、Suttonの個人ブログに掲載され、70年間のAI研究の最大の教訓をまとめたものだ。AIを本当に前進させるのは、計算能力を十分に活用できる汎用的な手法であり、人間の専門知識に頼る個別の技巧ではない。音声認識、自然言語処理、コンピュータービジョンを例に挙げている。初期の研究は専門家の経験で特徴やルールを設計するものが多かったが、後の統計的手法と深層学習は、それをはるかに上回った。

複雑系や知能の進化も、おおむね同じだ。人が設計するのではなく、環境に適応し、自ら発見して広がれる仕組みによって進む。

同じく2019年刊行の『深度学习：智能时代的核心驱动力量』という本も目にした。著者Terrence Sejnowskiはニューラルネットワークの初期の推進者の一人で、Hintonと共にボルツマンマシンを発明した、権威ある研究者だ。当時もこの本は人気があった。AlphaZeroの一連の成果で、市場や政策の側からAIが広く注目されていた頃である。一方、BERTやGPTはまだ専門家の間でしか知られない用語で、この本にも登場しない。

私も流行に乗って紙の本を買った。一般向けの解説書とはいえ、日頃からある程度触れていなければ、遠い話に感じられ、読み込めなかった。今、開くと感覚はまるで違う。当時の盛り上がりは、広く社会に浸透したというより「特に注目されていた」状態だったのだと思う。だからこそ、今読むと面白い。この数年のAIの発展を体験して振り返ると、当時の人名や用語が急に身近になり、いくつもの話がその後の展開とつながる。

不思議な体験だ。当時は未知で抽象的だったものが、今は理解し、議論できる対象になった。