跨国深谈← 返回←持续学习 (continual learning)

集里怎么说它

• 《Base 10 的 Julian：推理正在从「租用智能」走向「拥有智能」》(00:51起):本集说持续训练如今已是工程问题（跑模型、收生产轨迹、拿人类反馈、重训、重部署），未来方向是上下文内训练和推理同时进行，让模型持续演化。
• 《DevOps 之父 Patrick Debois：AI 时代组织比技术更难成熟》(00:08起):本集把它说成知识复利发生的地方，正在成为公司的护城河——你能多快适应新方式（哪怕重写整个代码库）才是核心竞争力
• 《Transformer 已见顶?OpenAI 与 Google 双雄离职造新架构》(45:21起):本集说 Transformer 完全无法进行持续学习，无法跟随现实世界的动态变化吸收新经验，这正是促使寻找新替代架构的核心动因。
• 《Rich Sutton：LLM 不是全部智能，真正的AI必须持续学习》(00:24起):本集说所有学习本来就应该是持续的，当前领域需要特别标明「持续学习」恰恰说明领域走偏了；LLM 部署后权重冻住、不再学习是根本缺陷
• 《给 AI 装上「自我怀疑」：剑桥教授 30 年的不确定性智能之路》(37:02起):本集说当前 AI 系统每隔几个月重新训练一个巨大模型，不像人类持续学习；而贝叶斯更新理论上能做持续学习且不遭受灾难性遗忘
• 《超级智能为什么危险：Ryan Greenblatt 的推演与解法》(14:19起):本集说它与 RSI 大多正交，是一种对所有任务都有用的能力，如果出现极低算力实现持续学习的突破会影响 Plan A 的可行性
• 《LongLake：把AI塞进真实服务业务的笨办法》(13:54起):本集说持续学习是通过反馈让智能体随时间推移变得更好，并与企业赋能是同一个循环——更多使用推动持续学习，更好的智能体又推动更多使用
• 《最便宜的模型反而是最便宜的：Factory CTO 谈 AI 定价陷阱》(33:31起):本集说模型提供商自己都承认持续学习发生在套索层而非模型内部，那种所有学习发生在闭环 LLM 内部的技术尚未被开发出来

① 提到它的金句

2 条

正如我提到的,我们相信 Transformer 无法进行持续学习。没有办法在 Transformer 上进行持续学习。
We believe, as I mentioned, that transformers are incapable of continual learning. There’s no way how to put continual learning on transformers.
—— Jerry Tworek · [45:21]

指向原始笔记的链接

我不认为你可以把持续学习附加到一个现有的前沿模型上。
I don’t think you can bolt on continuous learning into an existing frontier model.
—— Jerry Murdock · [49:47]

指向原始笔记的链接

② 出现在这些集

8 集

• 《Base 10 的 Julian：推理正在从「租用智能」走向「拥有智能」》 — 作为概念
• 《DevOps 之父 Patrick Debois：AI 时代组织比技术更难成熟》 — 作为概念
• 《Transformer 已见顶?OpenAI 与 Google 双雄离职造新架构》 — 作为概念
• 《Rich Sutton：LLM 不是全部智能，真正的AI必须持续学习》 — 作为概念
• 《给 AI 装上「自我怀疑」：剑桥教授 30 年的不确定性智能之路》 — 作为概念(提及)
• 《超级智能为什么危险：Ryan Greenblatt 的推演与解法》 — 作为概念(提及)
• 《LongLake：把AI塞进真实服务业务的笨办法》 — 作为概念
• 《最便宜的模型反而是最便宜的：Factory CTO 谈 AI 定价陷阱》 — 作为概念(提及)

③ 关联

点进去有真内容 —— 本页主要出口

智能体 · 后训练 · 推理 · OpenAI · Cursor · Anthropic · 开源模型 · harness · Transformer · 灾难性遗忘