跨国深谈← 返回←Daval Ajada

① 他说过的话

8 条

说实话，我们连深度学习的学习理论都没有。
I mean, honestly, we don’t even have a learning theory of deep learning.
—— Daval Ajada · [08:59]

指向原始笔记的链接

我认为我们拥有的最接近理论的东西是缩放定律，而这些是经验性定律。
I think the closest things we have are scaling laws, and these are empirical laws.
—— Daval Ajada · [09:12]

指向原始笔记的链接

我认为对我们来说这很直接：如果你的改进只是靠投入越来越多的资源得来的，那就不是 RSI。
I think for us it’s pretty straightforward. It’s because if you get improvement and they just come at more and more resources being poured in, it’s not RSI.
—— Daval Ajada · [10:48]

指向原始笔记的链接

我们有个东西叫放血榜。在上面我们记录每个跑实验的人的实验成本。
We have something called a bleederboard. Where we keep track of the cost of experiments of everybody who’s running experiments.
—— Daval Ajada · [11:53]

指向原始笔记的链接

很多声称做到 RSI 的论文，当我们在我们的内部基础设施里测试时，我们发现它们不管用。
A lot of the papers that claim to do RSI, when we test it in our internal infra, we find that they don’t work.
—— Daval Ajada · [14:11]

指向原始笔记的链接

而我们发现，那个能闭合回路的更简单的东西，才是能扩展的东西。
And what we found is that the simpler thing that closes the loop is the thing that scales.
—— Daval Ajada · [14:37]

指向原始笔记的链接

然后我们看它，我们试着复现它，然后我们意识到，哦，那是噪声，是挑数据。
We look at it, we try to replicate it, and we realize, oh, it’s noise, you know, it’s cherry picking.
—— Daval Ajada · [25:51]

指向原始笔记的链接

RSI 的秘密藏在威斯康星州某家浇花水管公司的某个地方。
The secret to RSI is somewhere in a garden hose company in Wisconsin.
—— Daval Ajada · [30:21]

指向原始笔记的链接

② 出现在这些集

1 集

• 《AI 自己改自己：他们说要分清「真进步」和「砸钱堆出来的进步」》 — 作为联合主持

③ 他谈到的

点进去有真内容 —— 本页主要出口

Martin Casado · Owen He · MakerMaker · RSI · 自催化 · 闭环 · 分子与分母 · 多智能体系统 · 智能体 · 推理

④ 也在聊「智能体」的人