跨国深谈← 返回←Transformers

集里怎么说它

• 《Waymo 谈物理 AI 的七条实战教训》(09:38起):本集提到 Waymo 在 2017 年 Transformers 出现后，在感知和行为预测规划上重注，因为驾驶的社交属性与语言建模有类似之处
• 《Justin Johnson：世界模型不只有一种，而语言模型做不到这些》(59:56起):本集说 Transformer 非常强大、扩展性好，不需要推翻，但需要进化以处理世界模型场景下几千万 token 的超长上下文

① 提到它的金句

3 条

正如我提到的,我们相信 Transformer 无法进行持续学习。没有办法在 Transformer 上进行持续学习。
We believe, as I mentioned, that transformers are incapable of continual learning. There’s no way how to put continual learning on transformers.
—— Jerry Tworek · [45:21]

指向原始笔记的链接

它比我们团队当年做 Transformers 研究时用的八台 8GPU 机器算力还强。
It has more power than the eight 8GPU machines we used as a team to do the Transformers research.
—— Lucas Kaiser · [03:50]

指向原始笔记的链接

所以是的，Transformer 在你喂给它整个互联网时很强大，但我们知道存在一个更优秀的算法，它能从小得多的数据中学习，并在所学的东西上表现得令人惊叹。
So yes, transformers are great when you feed them all of the internet, but we know there is an algorithm that’s even better and it can learn from much smaller data and be amazing at the things it’s learning.
—— Lucas Kaiser · [05:03]

指向原始笔记的链接

② 出现在这些集

2 集

• 《Waymo 谈物理 AI 的七条实战教训》 — 作为概念(提及)
• 《Justin Johnson：世界模型不只有一种，而语言模型做不到这些》 — 作为概念

③ 关联

点进去有真内容 —— 本页主要出口

智能体 · 模拟器 · 世界模型 · Dmitri Dolgov · Sam Charrington · Waymo · Justin Johnson · Waymo driver · World Labs · 物理 AI