RSI
集里怎么说它
- 《超级智能为什么危险:Ryan Greenblatt 的推演与解法》(09:52起):本集把它说成 AI 自己加速 AI 开发的正反馈循环,不需要 AI 有科学直觉,只要能自动化写代码、跑实验、造算力的工业环节就足以彻底改变世界
- 《RL 为什么灵、蒸馏为什么凶:三位研究员的前沿圆桌》(04:15起):本集把快速 RSI 的关键问题归结为 AI 能否泛化到给自己设定目标——这可能是阻止立刻起飞的最大瓶颈。
- 《A16Z 消费投资合伙人 Anish Acharya:别怕“永久下层”,公司正在变成一串循环》(05:34起):本集说实验室里真正发生的不是 RSI 那种可能失控的递归自我改进,而是不真正递归的自催化效应
- 《OpenAI Noam Brown:一万智能体 88 小时解千禧年难题,以及那之后的对齐难题》(22:07起):本集说模型尖峰化的能力恰好对 RSI 特别有用(目标明确、指标可测),会有显著加速但不是一夜之间的智能爆炸,约 3 倍而非 100 倍;但怎么验证 RSI 过程中对齐仍有效目前没有好答案
- 《Databricks CEO Ali:企业用不好 AI,缺的不是更聪明的模型,而是上下文》(00:23起):本集给了可检验的四硬指标(训练资源超线性减少、时间缩短、智能提升、循环可重复,须同时成立),并指出当前现实相反——每年一两次大训练更贵更慢更脆弱;90% 喊 RSI 的其实是自催化效应(编译器写编译器、蒸汽机)。
- 《AI 自己改自己:他们说要分清「真进步」和「砸钱堆出来的进步」》(00:15起):本集主线概念:被改进的系统同时是执行改进的系统,形成闭环;区分真 RSI 与靠注入资源的「自催化」。
- 《开源模型追得上前沿吗?一位AI研究者拆解谣言与真相》(05:49起):本集说要给 RSI 去神秘化:Trillium 将完整记录实验室如何用 AI 改进 AI(工具、任务、模型卡住的地方、写进代码的 bug),每半年更新。所有缩放定律都是算力指数换性能线性,快速起飞还需要多一个数量级的进展。
① 提到它的金句
4 条
另一部分,我认为这对 AI 实验的递归自我改进同样成立:当驱动实验的思考的智能水平越来越高、而实验因此成为瓶颈时,我认为我们会做更多的思考。
指向原始笔记的链接
The other part there, and I think this is true of RSI for AI experiments as well, is as our intelligence levels on the thinking that then drives that experiment gets higher and higher, And as that experiment therefore becomes the bottleneck, I think we do more thinking.
—— Walter Goodwin · [26:57]
我认为对我们来说这很直接:如果你的改进只是靠投入越来越多的资源得来的,那就不是 RSI。
指向原始笔记的链接
I think for us it’s pretty straightforward. It’s because if you get improvement and they just come at more and more resources being poured in, it’s not RSI.
—— Daval Ajada · [10:48]
很多声称做到 RSI 的论文,当我们在我们的内部基础设施里测试时,我们发现它们不管用。
指向原始笔记的链接
A lot of the papers that claim to do RSI, when we test it in our internal infra, we find that they don’t work.
—— Daval Ajada · [14:11]
RSI 的秘密藏在威斯康星州某家浇花水管公司的某个地方。
指向原始笔记的链接
The secret to RSI is somewhere in a garden hose company in Wisconsin.
—— Daval Ajada · [30:21]
② 出现在这些集
7 集
- 《超级智能为什么危险:Ryan Greenblatt 的推演与解法》 — 作为概念
- 《RL 为什么灵、蒸馏为什么凶:三位研究员的前沿圆桌》 — 作为概念
- 《A16Z 消费投资合伙人 Anish Acharya:别怕“永久下层”,公司正在变成一串循环》 — 作为概念
- 《OpenAI Noam Brown:一万智能体 88 小时解千禧年难题,以及那之后的对齐难题》 — 作为概念
- 《Databricks CEO Ali:企业用不好 AI,缺的不是更聪明的模型,而是上下文》 — 作为概念
- 《AI 自己改自己:他们说要分清「真进步」和「砸钱堆出来的进步」》 — 作为概念
- 《开源模型追得上前沿吗?一位AI研究者拆解谣言与真相》 — 作为概念
③ 关联
点进去有真内容 —— 本页主要出口
智能体 · OpenAI · Anthropic · 对齐 · 后训练 · 奖励黑客 · 缩放定律 · 推理 · 沙箱 · Cursor
