W28-《The Bitter Lesson》

最近才知道《The Bitter Lesson》这篇短文的份量。2019 年发布在 Sutton 的个人博客上，总结了 70 年人工智能研究的最大教训：真正推动 AI 进步的，是那些能充分利用算力的通用方法，而不是依赖人类专家知识的特定技巧。举例了语音识别、自然语言处理和计算机视觉。早期的研究大多依赖专家经验设计特征和规则，而后来的统计方法和深度学习的崛起，效果远超前者。

复杂系统和智能的演化大体上也是如此，不是靠人为设计，而是依靠那些能适应环境、能自我发现和扩展的机制。

同样看到一本 2019 年出版的书——《深度学习：智能时代的核心驱动力量》。作者 Terrence Sejnowski 是神经网络的早期推动者之一，和 Hinton 一起发明了玻尔兹曼机，相当权威。当年这本书就很火，那时 AlphaZero 的一系列成果已经引起了市场和政策对 AI 的广泛关注。而 BERT 和 GPT 当时还只是圈内人关注的专业名词，这本书甚至没有提到它们。

我当时蹭热度还买了纸质版，虽说是一本科普读物，但如果平时没有一定接触，总觉得离得很远，很难真正读进去。而现在再翻开，感觉完全不同了。那时的热度，现在看来更像是“特别关注”，而非真正出圈。也正因如此，如今读起来很有意思。亲历了这些年 AI 的发展，再回头看，很多当年的名字、名词忽然都变得熟悉了，许多当年的桥段也能和后来的发展形成呼应。

这是一种挺奇妙的体验。当年觉得陌生、抽象的东西，现在成了可以理解和讨论的对象。