跨国深谈← 返回←Justin Johnson：世界模型不只有一种，而语言模型做不到这些

Justin Johnson：世界模型不只有一种，而语言模型做不到这些

关联

人物 Sam Charrington · Justin Johnson

公司 World Labs

概念 世界模型 · 高斯溅射 · 智能体 · PoMDPs · Marble · RTFM · Transformers

这一集是 Sam Charrington 和 World Labs 联合创始人 Justin Johnson 聊世界模型到底是什么。Justin 同时也是密歇根大学的计算机科学副教授。

很多人觉得语言模型做大了自然就能理解世界——Justin 认为不是。语言模型能做的事是处理文本，但「理解空间、预测环境变化、在世界中行动」这些能力，不太可能从语言建模范式里自然涌现出来。这也不是说需要完全推翻重来，而是世界模型需要处理的问题本质上不同——比如一个 3D 世界可能轻松吃掉几千万个 token，这种量级的上下文在语言模型里是极端情况，在世界模型里是日常 。

世界模型到底在说什么

Justin 指出，现在「世界模型」这个术语至少被三个不同的群体在用，说的是三件不同的事：

隐式世界模型：模型内部隐含地建模了世界的某些规律，但它输出的还是文本或图像。比如一个视频模型能生成极其逼真、物理正确的水流视频，那它内部一定隐含地对流体力学做了某种建模，但它并不显式地告诉你那些规律是什么。

强化学习里的世界模型：这个术语最早来自强化学习文献，和 POMDP（部分可观测马尔可夫决策过程，一种把「智能体—世界」交互形式化的数学框架）绑定。在这个框架里，世界有一个内部状态，智能体采取动作后状态会转移，智能体只能拿到状态的低维投影（即「观测」，比如人眼看到的图像）。世界模型在这个语境下的原始定义是：输入当前状态和动作，预测下一个状态。

生成式世界模型：图像模型生成图像，视频模型生成视频，那世界模型就应该生成世界——一个你可以走进去、可以导航、自洽的人工环境。这也是过去一年学术文献里「世界模型」最常指代的东西。

Justin 认为这三条路都有价值，但用同一个词称呼不同系统造成了混乱，社区需要更好的术语。还有一个更极端的设想——世界模型作为「理论构建者」：不只是生成像素或预测状态，而是像物理学家一样构建紧凑、强大的解释性理论（比如引力定律、流体力学方程）。Justin 直说「这个真的非常非常难，我不知道有谁找到了好的切入点」。

显式 3D vs 隐式像素：两条技术路线

做图形化的世界模型，有一个顶层分叉：你要不要在中间显式地表示 3D？

显式路线——高斯溅射（Gaussian Splatting）。高斯溅射本质上是一个 3D 点云，每个点有位置、颜色、不透明度、大小，还有球谐函数来描述从不同角度看颜色怎么变。

它之所以在过去几年火了，核心原因是可微性好——所有东西都是平滑的、部分透明的，参数微调时输出也连续变化，梯度可以干净地回传到神经网络里。相比之下，传统的三角网格（游戏和特效用了几十年的标准表示）有尖锐的不连续性，和神经网络不兼容。World Labs 的产品 Marble 走的就是这条路：用户输入一张图片或文本，模型先生成 360 度全景图，再把它「提升」成 3D 高斯溅射世界，用户可以导航。

隐式路线——直接生成像素。没有中间的 3D 表示，模型直接实时吐出视频帧。World Labs 的 RTFM（实时帧模型）就是这条路。

Justin 强调一个容易混淆的点：高斯溅射本身只是一种表示，不是世界模型。早期 Meta 等公司做的经典高斯溅射是「重建」——拍几千张照片然后拟合一个点云，这里没有在大数据上训练过的大模型，没有可泛化的知识。Marble 的区别在于：高斯溅射是一个在大规模数据上训练的生成模型的输出，模型本身才是世界模型。

两条路线怎么选？Justin 认为不是谁优于谁，而是工程约束问题：算力预算低、要嵌入式运行、要构造上保证一致性→高斯溅射；能砸大量数据和算力、追求无限扩展→隐式像素路线。一致性（你转开再转回来，世界不变）在显式路线里是构造保证的，在隐式路线里靠数据和训练「学出来」。

三类世界模型：渲染器、规划器、模拟器

World Labs 的团队把这些纷繁的世界模型工作统一回了 POMDP 框架，发现几乎所有东西都可以归入三类，取决于模型在「智能体—动作—状态—观测」循环里输出什么：

• 渲染器（Renderer）：输出观测（像素/视频）。比如 Genie、RTFM。用户给动作，模型告诉你世界看起来什么样。
• 规划器（Planner）：输出动作。比如机器人策略模型——输入现实世界的观测，输出机器人该做的动作。和渲染器几乎是对偶关系。
• 模拟器（Simulator）：输出或操作状态。这是最棘手的一个。Marble 其实跨越了渲染器和模拟器的边界：用户看到的是像素（渲染器），但模型真正输出的是高斯溅射这种显式状态表示，你可以测距离、插物体、做渲染以外的事。

Justin 认为，最终这些不会是割裂的三类系统。它们问的是同一组根本问题——世界可能什么样、如何响应动作、如何演化——所以会融合成统一世界模型：一个共享主干，根据需要切换输出头，有时输出像素，有时输出动作，有时输出状态。但他也坦承，现在还没到那一步。

当前架构够用吗

Transformer 本身很强，Justin 不认为需要推翻它。他看到两个更紧迫的进化方向：

损失函数：扩散、rectified flow、离散自回归——这是生成模型训练目标的演化，比架构变化更关键。

超长上下文：这是世界模型和语言模型的真正分水岭。语言模型里百万 token 是极端情况，但 3D 世界建模很容易就需要几千万 token 的上下文——每个 token 可能是一小块视频、一小束高斯溅射、或一小块 3D 空间。怎么让 Transformer 在这种长度下高效工作，是必须解决的问题。

至于几何深度学习、对称性这些「把物理先验硬塞进架构」的思路，Justin 持谨慎态度：深度学习的教训反复是——用简单表征，把规模堆上去；硬编码的假设（比如人体对称）可能帮你走 80% 的路，但最终会崩溃。

【背景】POMDP 全称 Partially Observable Markov Decision Process（部分可观测马尔可夫决策过程），是强化学习中描述智能体在不确定环境下做决策的经典数学框架。转写稿中写作 “PoMDPs” / “partially observed markup decision processes”，为 ASR 识别错误。 【背景】World Labs 由 Justin Johnson 与李飞飞共同创立，转写稿中提到 “World Labs” / “WoltLabs”（ASR 识别偏差），指同一公司。

本集带走

• 「世界模型」至少有三层含义：隐式世界知识、RL 里的状态预测器、生成可导航 3D 环境。用同一个词聊不同东西是当前混乱的根源。
• 高斯溅射 ≠ 世界模型：经典高斯溅射只是从照片重建点云，没有可泛化知识；只有当它是大模型的输出时，才涉及世界模型。
• 高斯溅射的核心优势是可微性：相比三角网格的尖锐不连续，高斯溅射平滑且部分透明，梯度可以干净回传，和神经网络天然兼容。
• 显式 3D vs 隐式像素是工程取舍，不是对错：要便宜且构造一致→高斯溅射；要靠规模无限扩展→隐式像素。两条路 World Labs 都在走。
• 渲染器、规划器、模拟器三类世界模型终将融合：它们问的是同一组关于世界的问题，未来大概率是统一模型+不同输出头，按需切换模式。
• Transformer 不需要被推翻，但超长上下文是世界模型的刚需：几千万 token 的上下文在 3D 世界建模里是日常，这不是锦上添花，是基本问题。

所以所有这些都是真的不像是自然地从语言建模范式中产生出来的能力。
So all of these are capabilities that really don’t feel like they’re falling naturally out of the language modeling paradigm.
—— Justin Johnson · [01:54]

我想了解关于世界的一些事情。而且即使我可以生成任何种类或任何结构的视频，我也没有学到我想知道的关于世界的事情。
I wanted to learn something about the world. And even if I can generate video of any kind or of any structure, I didn’t learn what I wanted about the world.
—— Justin Johnson · [11:12]