世界模型 (world model)
集里怎么说它
- 《AI 教母李飞飞:从 ImageNet 到空间智能》(02:49起):本集说它是一种能通过输入提示生成无限可探索、可互动并进行推理的 3D 世界的基础模型,被视为当前大语言模型之外缺失的下一块拼图。
- 《Stanford AI Index 报告十大要点速览》(12:34起):本集引用 Jan Lecun 的观点,将其描述为能对生活中所有事物建立真实语境的模型,认为现有基于语言训练的前沿模型缺乏这种对真实世界的上下文理解
- 《不做 LLM,做世界模型:Alex 的 12 亿美元豪赌》(06:46起):本集核心概念:「一个我们不作弊的模型」——不用文本学习,而是像人类和动物一样直接从现实世界(视频、音频、触觉、把玩物体)学习,像婴儿一样从零开始、不带语言。
- 《Waymo 谈物理 AI 的七条实战教训》(25:09起):本集将世界模型描述为高度准确的生成式模型,Waymo 分为行为世界模型(在结构化中间表示空间运作)和传感世界模型(生成逼真传感器仿真),结合 Genie 3 能在从未见过的纯合成罕见场景中训练评估
- 《巨头财报季:AI 军备竞赛下的供应链、会计戏法与路线分歧》(03:23起):本集把它说成是 Google 倾向于押注的、用来理解物理现实、达成 AGI 的另一条 AI 技术路线,并指出这是导致 Google 与大部队产生路线分歧、在模型发布上掉队的执念所在。
- 《下一代游戏引擎不会有使用手册》(18:02起):本集收尾讨论:即时生成游戏画面的另一类技术路线,Arturo 判断那会是一种不同的媒介——要用它在 4K 下实时渲染 60 帧、模拟物理还很遥远
- 《Justin Johnson:世界模型不只有一种,而语言模型做不到这些》(02:27起):本集说世界模型至少有三层含义:隐式世界知识、RL 里的状态预测器、生成可导航 3D 环境;最终渲染器、规划器、模拟器三类会融合成统一世界模型
- 《Atlas:让 AI 预测世界的下一个视角》(01:58起):本集核心产品类别:能生成、仿真、理解世界如何回应动作的模型;区别于只是自称世界模型的视频模型
- 《当AI学会理解世界:World Labs 联合创始人谈 Atlas 与世界模型》(01:13起):Johnson 的核心论点:继语言模型之后的另一类横向通用模型,基于视觉和物理理解,可生成、模拟、重建各种世界,横跨娱乐、VR、建筑、机器人等行业。
- 《当无人机变成基础设施:给机队下指令的人》(18:41起):本集以地图为载体讲世界模型,类似 Waymo 的局部感知加全局规划;机队发现新工地后回传数据,下一次迭代全机队用上更新后的地图
- 《训练机器人缺数据?答案藏在数十亿网络视频里》(00:38起):本集主题为「面向 Argentic World Models 训练的视频发现」(讲者原文如此);网络视频展示重力、运动与因果(事故是最大的因果关系),是训练世界模型与机器人的有用素材。
- 《Runway 创始人:猫视频与理解物理是一回事》(38:05起):本集核心论点:预测视频就是在以越来越强的能力模拟世界;Runway 把视频模型变成可以走进去、每一步都可控制、可探索反事实的模拟器,并延伸到机器人和软件界面。
- 《NVIDIA 开放模型与物理 AI:世界模型为什么是关键拼图》(19:40起):本集说世界模型从对世界的感官观测中学习表征,隐式编码世界的物理规律;它可用于世界模拟(观测+动作→未来视频)和世界理解(视频→文字解释),还能当策略模型的骨干。
- 《机器人捡起香蕉当扫帚:Generalist 的物理世界通用智能》(25:33起):业内另一阵营;Florence 做了多年世界模型,认为它只是工具,利用视频数据预测未来模态,最终目标(如单样本学习)才是重要的。
- 《让机器人自己「想象」未来:Dyna Robotics 的世界动作模型》(00:37起):本集说它得名于能够预测未来视频;Jason 认为机器人最第一性原理的做法就是尽可能多地预测世界,也提到纯视觉世界模型可能缺少声音、触觉等关键维度。
① 提到它的金句
8 条
世界模型是一个我们不作弊的模型。我们不通过文本来学习,而是像人类、像动物一样,直接从现实世界学习。
指向原始笔记的链接
A world model is a model where we don’t cheat. We are not learning through text. We are learning directly like humans, like animals from the real world.
—— Alex · [08:33]
Jensen 根本的世界模型是你赢,我赢。
指向原始笔记的链接
Jensen’s fundamental world model is you win, I win.
—— David Cahn · [61:10]
从 Demis Hassabis 往下,他基本上都把世界模型视为前进的道路,视为最重要的东西,并且他们愿意在 LLM 开发上退居二线
指向原始笔记的链接
from Demis Hassabis on down he just basically views world models as the way forward as the most important thing and they’re willing to sort of take a back seat on llm development
—— 嘉宾 · [55:14]
这里的核心论点是,存在一种新的、我们可以构建的不同类型的横向模型,叫做世界模型。
指向原始笔记的链接
The central thesis here is that there’s a new, there’s a different kind of horizontal model that we can build called a world model.
—— Justin Johnson · [03:09]
我们的论点是,存在另一类模型叫做世界模型,它应该基于视觉理解、基于物理理解,可以用来生成、模拟、重建世界。
指向原始笔记的链接
And our thesis is that there exists another category of model called world models that should be based in visual understanding, should be based in physical understanding, that can be used to generate, simulate, reconstruct worlds.
—— Justin Johnson · [03:23]
像界面世界模型这类东西的终极形态,就是你会拥有一个全神经的操作系统。
指向原始笔记的链接
the end game of something like interface world models is you have a fully neural operating system.
—— Anastasis · [50:26]
视频模型与世界模型之间的巨大差距,就在于反事实生成这个理念。
指向原始笔记的链接
the big gap between video models and world models is that idea of the counterfactual generation.
—— Anastasis · [70:15]
但明天有人推出了一个视觉加触觉的世界模型,数据效率高出 100 倍。
指向原始笔记的链接
But tomorrow someone else comes out with a vision plus tactile world model that’s just like 100x more data efficient.
—— Jason Ma · [57:13]
② 出现在这些集
15 集
- 《AI 教母李飞飞:从 ImageNet 到空间智能》 — 作为概念
- 《Stanford AI Index 报告十大要点速览》 — 作为概念
- 《不做 LLM,做世界模型:Alex 的 12 亿美元豪赌》 — 作为概念
- 《Waymo 谈物理 AI 的七条实战教训》 — 作为概念
- 《巨头财报季:AI 军备竞赛下的供应链、会计戏法与路线分歧》 — 作为概念
- 《下一代游戏引擎不会有使用手册》 — 作为概念
- 《Justin Johnson:世界模型不只有一种,而语言模型做不到这些》 — 作为概念
- 《Atlas:让 AI 预测世界的下一个视角》 — 作为概念
- 《当AI学会理解世界:World Labs 联合创始人谈 Atlas 与世界模型》 — 作为概念
- 《当无人机变成基础设施:给机队下指令的人》 — 作为概念
- 《训练机器人缺数据?答案藏在数十亿网络视频里》 — 作为概念
- 《Runway 创始人:猫视频与理解物理是一回事》 — 作为概念
- 《NVIDIA 开放模型与物理 AI:世界模型为什么是关键拼图》 — 作为概念
- 《机器人捡起香蕉当扫帚:Generalist 的物理世界通用智能》 — 作为概念
- 《让机器人自己「想象」未来:Dyna Robotics 的世界动作模型》 — 作为概念
③ 关联
点进去有真内容 —— 本页主要出口
智能体 · World Labs · LLM · Marble · NVIDIA · 强化学习 · 苦涩的教训 · Meta · 推理 · Justin Johnson
