跨国深谈← 返回←苦涩的教训 (bitter lesson)

集里怎么说它

• 《AI 教母李飞飞:从 ImageNet 到空间智能》(40:58起):本集解释为 Richard Sutton 提出的观点,即 AI 发展史上简单模型配合海量数据最终总能赢过复杂模型;但指出在机器人领域因为 3D 物理数据的缺乏而难以直接套用。
• 《Claude Code 负责人：写代码已被解决，下一步是什么》(64:37起):本集说它的核心想法是更通用的模型将总是胜过更具体的模型，推论就是始终押注更通用的模型、不要急着用小模型或微调
• 《Claude 异步智能体架构的四块基石》(23:02起):本集在讨论记忆底层的结构时引用了它,强调让模型自己去推理和管理它的记忆结构,远比人类凭直觉为它规定死板的记忆架构效果要好。
• 《让药物研发变成写代码:Chai Discovery 的 AI 分子设计之路》(18:28起):本集提到 Chai 团队深受此启发，即与其堆砌人类设计的复杂技巧，不如老老实实地去扩展数据和算力。
• 《Waymo 谈物理 AI 的七条实战教训》(31:18起):本集提到 Richard Sutton 2019 年阐述的苦涩的教训：利用海量算力和数据的通用方法终将胜过依赖手工设计人类知识的方法
• 《Rich Sutton：LLM 不是全部智能，真正的AI必须持续学习》(01:12起):本集说《苦涩的教训》的本质是不要被人类知识分心，专注于随计算扩展的方法（如搜索和学习），它不是否定花哨算法，而是要那些能随算力一起扩展的算法
• 《斯坦福语言学家的代币经济学：你的 token 贬值了》(13:57起):「别设计结构、只管堆算力堆数据」的信条；Chris 反击称现在的模型全是基于数据直觉省钱手工改出来的，是忒修斯之船，没有一样是 bitter lesson 式的

① 提到它的金句

2 条

因为那最终并没有建立苦涩教训，在这个意义上，模型可以学会管理自己的内存，比你可以提前为模型凭直觉设计这些内存类型要好得多。
Because that ends up being not very bitter lesson built in the sense that models can learn to manage their own memory much better than you can intuit these memory types for the model ahead of time.
—— Lance Martin · [23:02]

指向原始笔记的链接

这是非常经典的苦涩教训药丸，但模型可以推理它们自己的内存和上下文结构，比你可以为它们规定一种构建自己内存的方式要好得多。
This is very classically bitter lesson pill, but models can reason about their own memory and context structure much better than you can prescribe for them a way to structure their own memories.
—— Lance Martin · [23:50]

指向原始笔记的链接

② 出现在这些集

7 集

• 《AI 教母李飞飞:从 ImageNet 到空间智能》 — 作为概念
• 《Claude Code 负责人：写代码已被解决，下一步是什么》 — 作为概念(提及)
• 《Claude 异步智能体架构的四块基石》 — 作为概念(提及)
• 《让药物研发变成写代码:Chai Discovery 的 AI 分子设计之路》 — 作为概念
• 《Waymo 谈物理 AI 的七条实战教训》 — 作为概念(提及)
• 《Rich Sutton：LLM 不是全部智能，真正的AI必须持续学习》 — 作为概念
• 《斯坦福语言学家的代币经济学：你的 token 贬值了》 — 作为概念

③ 关联

点进去有真内容 —— 本页主要出口

智能体 · Anthropic · Lenny · Claude Code · OpenAI · 模拟器 · 世界模型 · 沙箱 · Waymo · 后训练