苦涩的教训 (bitter lesson)
集里怎么说它
- 《AI 教母李飞飞:从 ImageNet 到空间智能》(40:58起):本集解释为 Richard Sutton 提出的观点,即 AI 发展史上简单模型配合海量数据最终总能赢过复杂模型;但指出在机器人领域因为 3D 物理数据的缺乏而难以直接套用。
- 《Claude Code 负责人：写代码已被解决，下一步是什么》(64:37起):本集说它的核心想法是更通用的模型将总是胜过更具体的模型，推论就是始终押注更通用的模型、不要急着用小模型或微调
- 《Claude 异步智能体架构的四块基石》(23:02起):本集在讨论记忆底层的结构时引用了它,强调让模型自己去推理和管理它的记忆结构,远比人类凭直觉为它规定死板的记忆架构效果要好。
- 《从量化交易员到物理 AI 数据层：Anchored 创始人的过山车十年》(00:57起):本集用它解释 Eric 的职业主线:过去构建 AI 系统要做特征工程、灌输领域专家知识,但人们发现不做这些、直接加更多数据和算力反而更好。
- 《让药物研发变成写代码:Chai Discovery 的 AI 分子设计之路》(18:28起):本集提到 Chai 团队深受此启发，即与其堆砌人类设计的复杂技巧，不如老老实实地去扩展数据和算力。
- 《Waymo 谈物理 AI 的七条实战教训》(31:18起):本集提到 Richard Sutton 2019 年阐述的苦涩的教训：利用海量算力和数据的通用方法终将胜过依赖手工设计人类知识的方法
- 《Rich Sutton：LLM 不是全部智能，真正的AI必须持续学习》(01:12起):本集说《苦涩的教训》的本质是不要被人类知识分心，专注于随计算扩展的方法（如搜索和学习），它不是否定花哨算法，而是要那些能随算力一起扩展的算法
- 《斯坦福语言学家的代币经济学：你的 token 贬值了》(13:57起):「别设计结构、只管堆算力堆数据」的信条；Chris 反击称现在的模型全是基于数据直觉省钱手工改出来的，是忒修斯之船，没有一样是 bitter lesson 式的
- 《AI 搜索量今年将超过人类：Exa 的完美搜索宣言》(07:30起):本集说 Exa 很早就「bitter lesson-pilled」，相信堆更多层、规模化算力终将胜出——所以融几百万美元就花一半买 GPU 集群。
- 《编码智能体开始接管机器人：LLM 控制物理世界的前沿》(04:27起):本集反复引用：给智能体更多自主权和资源它能完成很多微调才能做的事；Han Mei 的版本是关键不在架构而在什么数据最有用——LLM 的数据模态是「被眷顾的」。
- 《让机器人自己「想象」未来:Dyna Robotics 的世界动作模型》(41:07起):主持人用它总结 Dyna 的路线；Jason 认同并给出机器人版：算法保持简单、堆对的数据让泛化涌现，别塞人类先验（如画框），且去掉对世界抽象表征的偏见。
① 提到它的金句
5 条
因为那最终并没有建立苦涩教训，在这个意义上，模型可以学会管理自己的内存，比你可以提前为模型凭直觉设计这些内存类型要好得多。
指向原始笔记的链接
Because that ends up being not very bitter lesson built in the sense that models can learn to manage their own memory much better than you can intuit these memory types for the model ahead of time.
—— Lance Martin · [23:02]
这是非常经典的苦涩教训药丸，但模型可以推理它们自己的内存和上下文结构，比你可以为它们规定一种构建自己内存的方式要好得多。
指向原始笔记的链接
This is very classically bitter lesson pill, but models can reason about their own memory and context structure much better than you can prescribe for them a way to structure their own memories.
—— Lance Martin · [23:50]
最值得一提的是，我创建了 Folding at Home 这个大规模超级计算机项目，它基本上让我们预览到了如今在 AI 中看到的许多问题，尤其是「苦涩的教训」——算力如此重要这一点。
指向原始笔记的链接
Most notably, I built Folding at Home, the large scale supercomputer project, which basically allowed us to preview a lot of the issues that we now see in AI, especially the bitter lesson that compute is such a big deal.
—— Vijay Pande · [04:11]
就像芯片的苦涩教训是，专用化永远不会赢。
指向原始笔记的链接
It’s like the bitter lesson of chips is that specialization never wins.
—— Amin Vahdat · [16:18]
但每当你预测对世界的抽象表征时，你就在把自己关于什么值得预测的偏见编码进去。而 bitter lesson 告诉你，让我们去掉人类偏见。
指向原始笔记的链接
But whenever you’re predicting abstract representation of the world, you’re encoding your own bias into what’s important to predict. And the bitter lesson tells you, let’s remove human biases.
—— Jason Ma · [55:48]
② 出现在这些集
11 集
- 《AI 教母李飞飞:从 ImageNet 到空间智能》 — 作为概念
- 《Claude Code 负责人：写代码已被解决，下一步是什么》 — 作为概念(提及)
- 《Claude 异步智能体架构的四块基石》 — 作为概念(提及)
- 《从量化交易员到物理 AI 数据层：Anchored 创始人的过山车十年》 — 作为概念
- 《让药物研发变成写代码:Chai Discovery 的 AI 分子设计之路》 — 作为概念
- 《Waymo 谈物理 AI 的七条实战教训》 — 作为概念(提及)
- 《Rich Sutton：LLM 不是全部智能，真正的AI必须持续学习》 — 作为概念
- 《斯坦福语言学家的代币经济学：你的 token 贬值了》 — 作为概念
- 《AI 搜索量今年将超过人类：Exa 的完美搜索宣言》 — 作为概念(提及)
- 《编码智能体开始接管机器人：LLM 控制物理世界的前沿》 — 作为概念
- 《让机器人自己「想象」未来:Dyna Robotics 的世界动作模型》 — 作为概念
③ 关联
点进去有真内容 —— 本页主要出口
智能体 · 世界模型 · Anthropic · ChatGPT · Cursor · 强化学习 · Lenny · Claude Code · OpenAI · 物理 AI