> For the complete documentation index, see [llms.txt](https://weekly-essay.mikey.wang/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://weekly-essay.mikey.wang/zh-hant/2025/w28-the-bitter-lesson.md).

# W28-《The Bitter Lesson》

最近才知道《The Bitter Lesson》這篇短文的份量。2019 年發佈在 Sutton 的個人博客上，總結了 70 年人工智能研究的最大教訓：真正推動 AI 進步的，是那些能充分利用算力的通用方法，而不是依賴人類專家知識的特定技巧。舉例了語音識別、自然語言處理和計算機視覺。早期的研究大多依賴專家經驗設計特徵和規則，而後來的統計方法和深度學習的崛起，效果遠超前者。

複雜系統和智能的演化大體上也是如此，不是靠人為設計，而是依靠那些能適應環境、能自我發現和擴展的機制。

同樣看到一本 2019 年出版的書——《深度學習：智能時代的核心驅動力量》。作者 Terrence Sejnowski 是神經網絡的早期推動者之一，和 Hinton 一起發明了玻爾茲曼機，相當權威。當年這本書就很火，那時 AlphaZero 的一系列成果已經引起了市場和政策對 AI 的廣泛關注。而 BERT 和 GPT 當時還只是圈內人關注的專業名詞，這本書甚至沒有提到它們。

我當時蹭熱度還買了紙質版，雖說是一本科普讀物，但如果平時沒有一定接觸，總覺得離得很遠，很難真正讀進去。而現在再翻開，感覺完全不同了。那時的熱度，現在看來更像是“特別關注”，而非真正出圈。也正因如此，如今讀起來很有意思。親歷了這些年 AI 的發展，再回頭看，很多當年的名字、名詞忽然都變得熟悉了，許多當年的橋段也能和後來的發展形成呼應。

這是一種挺奇妙的體驗。當年覺得陌生、抽象的東西，現在成了可以理解和討論的對象。