Runway 创始人:猫视频与理解物理是一回事

关联

人物 Anastasis

公司 Runway

概念 世界模型 · 视频生成 · 缩放定律 · 实时视频生成 · 蒸馏 · 反事实生成 · 第三人称视频数据 · 机器人 · 界面世界模型

来源 Latent Space

这一集的主角是 Runway 的联合创始人 Anastasis——一家做了八年视频生成模型、在 AI 行业里已经算「恐龙级」老资历的公司。

他抛出的核心主张很反直觉:视频模型不只是生成好看画面的玩具,「在预测视频时,你需要以越来越强的能力去模拟这个世界」——用他的原话说,「我的猫咪视频和理解物理是一样的」。

起点:把生成模型交给艺术家

Runway 最初的论点很简单:随着生成模型分辨率和质量可预测地提升,「我们将需要重新思考创作工具是如何被打造的」。

Anastasis 自己是艺术和工程的跨界者,早年做过画廊里的模拟社交互动装置,后来和联合创始人 Chris 用 Nvidia 早期的图像到图像模型做了 Uncanny Road 项目。

他们发现:拿一个只见过自动驾驶街景数据的狭窄模型,故意往「分布之外」推,反而能做出最有艺术感染力的东西——「如果你围绕它们构建有趣的工具并把它们交给艺术家,他们会做出你意想不到的事情」。

这几乎概括了 Runway 的公司理念。

早期 Runway 其实是个后期制作工具:主打叫 Green Screen 的图像/视频分割产品,替代 VFX 行业极耗人力的逐格转描(rotoscoping),后来被用进了《瞬息全宇宙》等多部高知名度影片。

文本生视频不是答案,控制才是

Gen 1(2023 年 1 月)是深度图条件化的视频到视频模型——因为直接做文本生视频太难,先把输入视频转成深度图、再生成像素是一个更容易的起点。

有个有趣的插曲:Gen 2 其实是 Anastasis 的一个「周末项目」——「如果我拿一个从文本输入开始并转换成深度图的模型,然后用 Gen 1 把深度图转换成 RGB,会怎么样?」

这个两阶段流水线效果出奇地好,让 Gen 2 在 Gen 1 全面开放前仅两个月就发布了。

而今天人们又在回归两阶段方法:Reeve 文生图模型先用 Planner 生成边界框再交给扩散模型,Ideogram 同一天也推出了同样的创新。

学到的最大教训是:「文本生成视频不会是答案。人们想要比那多得多的控制力」。

于是 2023 年一连串控制手段快速推出:Motion Brush(画箭头指定物体运动方向)、镜头控制(描述相机如何移动)。

镜头控制尤其重要——它第一次让人感觉不是在剪辑,而是在世界内部导航,这成了后来世界模型研究方向的种子。

另一个行业公开的秘密是:「每一个投入生产的视频生成模型,在底层都用了一条复杂的提示词补全流水线」——因为人类写提示词太糟糕,模型会先重写你的描述。

Sora 危机与 Gen3 的三个月冲刺

Sora 发布时,「Twitter 上有很多关于 Runway 的议论:Runway 完了。Runway 不可能追上来了」。他坦承有几小时像经历了存在危机。

但公司随即把模型规模和训练算力扩展了 10 倍,从零学起了模型并行(当时团队「在那方面是零专业积累」),三个月冲刺后推出了 Gen3。

他回忆那是公司最大的转折点,「如果你问任何一个在那个时期待过的人,他们在 Runway 最喜欢的时光,就是那三个月左右的冲刺,做出一个比 Sora 更好的模型」。

几个月后他们又发布了 Turbo 版本——第一个在生产环境中使用的步数蒸馏模型。

在他看来,「实时视频生成是不可避免的,它的用户体验要好得多,服务成本要低得多」;蒸馏方法(把多步扩散压缩成少步生成,类似把大模型压缩成小而快的版本)有两个维度——压缩模型大小,或压缩步数,而他们发现很多时候可以直接用前沿大模型做到实时。

关于 LeCun「理解世界动态和生成可爱视频是完全不同的事」的批评,他的回应是:语言模型从勉强连贯的句子走到能自主写一整天代码,主要靠的是规模而非架构革命;他们有 PhysicsIQ 这类衡量经典力学、流体动力学的基准,「随着计算规模扩大,物理 IQ 的得分可预测地提升」——「即使仅仅靠规模扩展也能帮助模型更好地学习物理」。

他承认 Gen2 时代的画面确实像「几乎无法生成连贯句子的 GPT-2」——「但如果你把它扩展,从某种意义上说没有理由它不会成功」。

Runway 的思维方法一直是外推:看趋势,而非只看当下结果。

接口世界模型:直接生成像素

最惊艳的演示是「接口世界模型」:一个软件界面,没有任何 HTML、CSS、React 驱动,「这直接是我们实时视频生成模型的输出,它直接把点击、拖拽和滚动作为输入」。

理念是「为什么要生成能生成像素的代码?直接生成像素就好。这是把端到端哲学应用到前端上」。

你可以在提示词里直接描述交互行为——「如果我按这个按钮,就应该发生这个」——做原型、教育可视化、甚至按访客做个性化(比如放大字号做无障碍)都变得容易。

终极形态是「一个全神经的操作系统」,并重新思考「应用程序」这个抽象本身。

成本显然更高,但团队策略是先找到明显比传统界面更有说服力的场景,降本交给时间。

意外做成了机器人领域的 SOTA

更硬核的方向是机器人。因为在扩展视频模型,「我们意外地创造了一个机器人领域最先进的模型——仅仅通过扩展视频模型」。

GWM Robotics 从基础视频模型出发,只微调非常少量小时数的机器人数据就有相当好的表现。

核心论点关乎数据来源:遥操作数据需要真硬件难规模化,第一视角数据「比世界上现存的第三人称视频数据少了三个数量级」,而「最丰富的视频数据来源是第三人称视频数据」——正如人类学习,「我们是通过观察别人做来学习的」。

世界模型还解决了传统模拟器的痛点:布料、湿滑表面等复杂物理很难人工建模,而世界模型只需给环境拍一张照片就能展开策略测试。

他们已验证了模型与现实之间很好的相关性(在常用的机器人基准设置下)。

下一站是「世界动作模型」:给视频模型加一个动作头,生成足够精确的视频,就能反推出机械臂应有的 3D 姿态,模型本身变成策略。

与纯视频模型的关键差距在反事实生成:训练数据里成功进球的视频远多于失败,所以模型更擅长生成成功;但交互式世界模型必须「生成同样逼真的结果」——不论你选哪个动作。

「视频模型与世界模型之间的巨大差距,就在于反事实生成这个理念」。

他的思想实验:戴上 VR 头显走动、与物体互动,最后你分不清看到的是透视实拍还是实时生成——「那就说明这些模型已经变得足够好了。

而我们离那一步还很远」。

【背景】LeCun 全名 Yann LeCun,Meta 首席 AI 科学家,长期主张视频生成不足以学会世界模型,需要 JEPA 等新架构。嘉宾示范的界面世界模型、GWM 系列、以及与 NVIDIA 共同发起的开源 Cosmos Coalition(开放权重、物理基准、基础设施)都出自本集对话。

对艺术圈对 AI 的抵触,他的看法是:当工具提供多达 50 个参考输入、充分可控时,「它感觉更像一个工具,而不是某种神奇的实体,会替你搞定你的整部片子」,抵触情绪因此明显缓和。

创作侧的迭代重点也从质量(已大幅提升)到可控性,再到延迟——「Photoshop 是即时的」,实时模型要把这种即时魔力带回生成领域。

行业争论仍很活跃:VLA 与世界动作模型之争、遥操作数据与视频数据之争、直接预测像素是否正确,而人才招聘上他们明确在扩研究、机器人(软件/硬件/研究)和市场化团队。

本集带走

• 看趋势不看快照:Runway 的方法是把当前结果外推——Gen2 之粗糙好比「只能生成勉强连贯句子的 GPT-2」,但缩放定律成立时,没有理由它不会成功。
• 控制力比一次成型重要:纯文本生视频已被证明不是产品答案;相机轨迹、初始帧、参考图、多达 50 个参考输入才是让电影人真正可用、也让公众抵触降温的关键。
• 脚手架终将被吸收进模型:从思维链提示到多镜头视频生成,「需要外部 harness 做的事,最终会被注入模型本身端到端学习」。
• 视频模型到世界模型差在反事实:不仅要会生成「成功进球」,还要同样逼真地生成「失败」——这对评估和在线 RL 都必不可少。
• 数据生态位决定胜负:机器人领域第三人称视频比第一视角数据多三个数量级,预训练看视频、少量机器人数据微调,就能得到可用的操作策略。
• 前端的端到端时刻可能来了:界面不必经代码再渲染像素,直接由实时视频模型按点击/拖拽/滚动生成——原型、教育、个性化是新入口,成本是主要待解项。

作为那些生成模型的结果,我们将需要重新思考创作工具是如何被打造的。
we will need as a result of those generative models rethink how creative tools are made.
—— Anastasis · [00:44]

如果你围绕这些模型构建有趣的工具并把它们交给艺术家,他们会做出你意想不到的事情。
if you build interesting tools around them and you give them to artists, they’re going to do things that you don’t expect.
—— Anastasis · [04:57]

我们真的相信,如果我们大规模训练一个视频模型,最后我们会得到一个很棒的模型。
we really believe that if we trained a video model at the large scale, we would get a great model at the end.
—— Anastasis · [08:53]

文本生成视频不会是答案。人们想要比那多得多的控制力。
text-to-video was not going to be the answer. People wanted a lot more control than that.
—— Anastasis · [19:05]

每一个投入生产的视频生成模型,在底层都用了一条复杂的提示词补全流水线。
every single video generation model in production uses a complex prompt completion pipeline under the hood.
—— Anastasis · [22:39]

类似地,Gen2 几乎无法创建连贯的视频,但如果你把它扩展,从某种意义上说没有理由它不会成功。
Similar Gen2 can barely create coherent video, but if you scale it up, there is no reason why it shouldn’t work in a way.
—— Anastasis · [26:20]

我们一直在低估那些我们作为人类下意识所做的事情背后包含的复杂性
We’re constantly underestimating all the complexity that goes into things that we do subconsciously as humans
—— Anastasis · [29:09]

理解世界的动态和生成可爱的视频是非常不同的事情。
understanding the dynamics of the world is very different than generating cute videos.
—— Anastasis · [31:00]

Runway 完了。Runway 不可能追上来了。
Runway’s done. There is no way Runway will catch up.
—— Anastasis · [36:44]

对我来说,实时视频生成是不可避免的,它的用户体验要好得多。
To me, real-time video generation is just inevitable that it has much better user experience.
—— Anastasis · [41:26]

为什么要生成能生成像素的代码?直接生成像素就好。
Why generate the code that generates the pixels? Just generate the pixels directly.
—— Anastasis · [45:14]

像界面世界模型这类东西的终极形态,就是你会拥有一个全神经的操作系统。
the end game of something like interface world models is you have a fully neural operating system.
—— Anastasis · [50:26]

我们意外地创造了一个机器人领域最先进的模型——仅仅通过扩展视频模型。
we accidentally created a state of the art model for robotics. By just scaling video models.
—— Anastasis · [56:05]

视频模型与世界模型之间的巨大差距,就在于反事实生成这个理念。
the big gap between video models and world models is that idea of the counterfactual generation.
—— Anastasis · [70:15]