NVIDIA 开放模型与物理 AI:世界模型为什么是关键拼图
关联
这一集聊的是「开放模型」和「物理 AI」(部署在机器人、自动驾驶汽车这类物理设备上的 AI)为什么是 NVIDIA 战略的核心。说话的主角是 Ming-Yu Liu,NVIDIA Cosmos 实验室的副总裁——Cosmos 是 NVIDIA 专做物理基础模型的实验室。
先抛一个贯穿全集的判断:**API 很好,但它不给你洞察。**Ming-Yu 说,API 能解决问题,却不允许你把它拆开、把自己的想法放进去;而且你想要本地计算、没有网络连接时,API 也不是答案。
模型以前越大、训练资源越吓人,开放模型就越少——但 NVIDIA 偏要反着来,主动把模型开放出去。理由有二层:一是学术界几十年来就是靠读别人的开源代码和模型学会创新,这个传统值得保住;二是 NVIDIA 是造计算机的公司,通过亲手构建开放模型,他们能更懂该造什么样的 GPU 架构,反过来让整个生态受益;三是商业客户拿到开放模型,可以先试、可以组合、可以针对自己的业务定制——他把商业价值总结成两个词:「创新,自由」。
物理 AI 里的开放模型,比云端更刚需
物理 AI 涵盖汽车、工厂自动化、机器人(还有农业、建筑等)这些垂直领域,共同点是 AI 部署在会扰动物理世界的设备上,产出是摸得着的东西。Ming-Yu 认为最令人兴奋的形态是人形机器人——它们需要一台强大的计算机来处理视觉输入、理解指令、对未完成的任务自我纠正,而这是 NVIDIA 眼里的巨大商业机会。
开放模型在物理世界里甚至更关键,原因很具体:**每台机器人看世界的方式都不一样。**有的机器人两只眼,有的摄像头装在夹爪上;自动驾驶车有的 11 个摄像头、有的 7 个,有的带 LiDAR(激光雷达)。
很难有一个模型覆盖所有配置。有了开放模型,自带的语言理解或仿真能力就是先验,你拿自己设备收集的数据做微调就行——比如初始模型只处理单摄像头,通过后训练(在预训练模型上继续训练以适配新任务)就能扩展到多视角。
他还点出终极指标:「归根结底,主要的进化方向将是每瓦特智能。」
上设备做推理,和云端完全是两套逻辑
Ming-Yu 给习惯了云和 API 的从业者列了几条物理 AI 独有的约束。第一,机器人要实时反应,处理必须在现场完成。
第二,很多任务是「批大小为 1」的推理——不像 API 服务可以把成千上万用户的请求聚合起来填满 GPU 算力,单台设备没有可聚合的调用,所以 LLM 那套基于自回归 transformer(逐个生成 token、受内存带宽限制)的架构在设备上跑不满算力,别的架构可能更高效。第三,还有实时和安全约束。结论:应用不同,催生的架构和芯片就不同,核心问题是怎么把每一瓦电用得更值。
世界模型:Cosmos 的核心赌注
Cosmos(Cosmos 是「世界」的词根)在做的事叫世界模型。它和 LLM 是两条学习路径:LLM 从人类以语言书写的知识里学表征,优化生成文字;世界模型从对世界的感官观测——相机捕捉的不同角度、物理如何随时间演化的动态——里学表征,人们相信建模这些信号能隐式编码世界的物理规律。一旦物理规律成了可建模的东西,就能做模拟;再把世界表征和语言表征接起来,模型就能解释「为什么发生了这件事」。
Cosmos 把世界模型拆成两个用途,并在最新的 Cosmos 3 里把两者融合:
- 世界模拟:输入当前观测 + 动作序列(动作有时用文字描述就行),输出未来——以视频形式呈现将要发生的画面。
- 世界理解:输入视频和文本,输出文字解释。比如机械臂没完成任务,模型能告诉你「有个障碍物挡住了路径」。这一侧更像多模态 LLM。
融合的理由很直觉:「用途不同,但它们建模的是同一个世界」,表征可以共享。合在一起就是一个全模态模型:输入支持文本、动作、音频、视频,输出也是这四种,开发者可以任选组合在其上构建。
世界模型 vs 经典模拟器:游戏引擎那类经典模拟器是基于规则和物理方程的——人们花几个世纪把世界规律写成方程,再用程序执行。神经模拟(基于神经网络的模拟)则是数据驱动的:给模型看海量「两个物体怎么撞、水倒在地上怎么扩散」的视觉观测,它靠模式识别近似预测相似场景的走向。一个是基于规则,一个是数据驱动的近似。
世界模型到底怎么用:自动驾驶的例子
最实用的部分是它如何改变开发迭代方式。训练一个自动驾驶策略模型,你会产出很多 checkpoint(训练过程中的模型版本),怎么知道 A 比 B 好?
过去的做法是:车队 + 司机,把每个新策略部署到真车上路测试。这显然不可扩展,直接限制了你能迭代多少次。
有了世界模型,让策略和世界模型交互就行:策略说「左转」,世界模型生成「左转会看到什么」。在模拟里快速筛掉大多数假设,只把剩下几个真正有价值的拿去做真车测试。
Ming-Yu 点破:「在技术领域,最重要的事情是你能做多快的迭代。」
世界模型的表征还能当策略模型的骨干(backbone):世界模型生成的像素空间演化,与完成操作任务所需的控制信号有强相关性,这个相关性在数据有限时是很好的正则化(一种防止模型过拟合、提升泛化的约束手段),帮你训出更好的策略模型。
未来图景:多智能体协作的工厂与农场
Chris 问到成千上万台设备协同的城市级未来时,Ming-Yu 给了一个具体的推演:制造商想生产跟班机器狗,先由一个 LLM 驱动的数字智能体做高层规划——查库存、知道该把材料从工厂 B 调到工厂 A;然后它向工厂 B 的车间智能体发需求,车间机器人把货搬上移动平台、装进自动驾驶卡车;到工厂 A 后,装配线上每个工位有机械臂加视觉检测的闭环,由另一个智能体操作。他的判断:「世界会是多智能体的」,而且是专业化智能体的组合——毕竟不需要你的机械臂会解奥数题,更需要它在操作任务上灵敏;有的智能体擅长分配任务,有的擅长完成任务,相互协作把事办成。无人机采茶叶就是其中一例。
但他同时泼了冷水:这幅多智能体协同生产图景可能还要几十年。当下的现实挑战包括:正确性验证极其重要(可能需要专门的「监督智能体」在现场捕捉异常);人形机器人进化很快但还没做好大规模商用;要实现完全自动化,机器人得更聪明、更可配置——理想状态是新任务只需读一下用户手册,机械臂就能自己搞清楚怎么装配,而这「还不存在」。所以一家公司干不成,需要整个生态——这也是他反复回到开放模型的原因:让更多人拿到工具去做创新。
NVIDIA 的「开放」到底开放到什么程度
Ming-Yu 专门澄清了 NVIDIA 语境下「开放模型」的含义,远不止开放权重:
- 训练框架:拿开放模型 + 你自己的数据,训练出更适合你用例的版本;
- 开源数据:他们自建的数据集也开放,想自研模型的人可以直接用;
- 开发者博客 + 示例 recipe/cookbook(放在 GitHub):沉淀合作伙伴的成功用例,照着学怎么用开放模型;
- 模型放在 Hugging Face(原稿音译有误,即常说的模型托管平台),核心资源在 GitHub。这些对 Cosmos、NemoTron 等各条开放模型线都成立。
他还给了一个很「2026」的用法建议:现在大家做研究都用 LLM 智能体,你可以让你最喜欢的智能体——不管是 Gemini、GPT 还是别的——替你四处查找有用资料——所以 NVIDIA 刻意让所有资料对智能体易于获取,让智能体学完再来教育人类开发者。
本集带走
- 开放模型补的是 API 给不了的东西:洞察、可拆解、可定制、可离线。商业价值被总结成两个词——创新与自由。
- 物理 AI 的约束重塑架构:实时、安全、批大小为 1 的推理,意味着 LLM 式架构在设备上跑不满算力;终极指标是「每瓦特智能」。
- 世界模型 = 从观测学物理规律的数据驱动模拟器,与基于方程的经典模拟器相对;Cosmos 3 把「世界模拟」(观测+动作→未来视频)和「世界理解」(视频→文字解释)融合成一个全模态模型,因为它们建模的是同一个世界。
- 迭代速度是核心杠杆:用世界模型在模拟里筛 checkpoint,再对少数候选做真车测试,把过去「车队+司机」的不可扩展验证变得可扩展。
- 未来是多智能体协作,但还要几十年:正确性验证、人形机器人大规模商用、机器人的可配置性(读手册就会装配)都还没解决——一家公司干不成,所以更要开放。
- NVIDIA 的开放 = 权重 + 训练框架 + 数据 + cookbook,并且刻意让所有资料对 LLM 智能体友好。
它们能解决问题,但不给你洞察——它不允许你把它拆开、把自己的想法放进去。
They solve problems, but they don’t give you the insight. You know, it doesn’t tell you it it doesn’t allow you to tear apart and miss your idea inside.
—— Ming-Yu Liu · [03:37]
归根结底,主要的进化方向将是每瓦特智能。
So in the end, the primary evolution will be intelligence per per watt.
—— Ming-Yu Liu · [13:46]
人形机器人进化得非常快,但我认为它们还没有做好大规模商用的准备。
know that human knowing robots, they evolve very fast, but I think that they are not yet kind of ready for major commercial use.
—— Ming-Yu Liu · [41:40]
顺着「智能体」挖下去
- Ollama CEO：开源模型正吃掉企业 80-90% 的 token同公司:NVIDIA · 同概念:微调 (fine tune)、推理 (inference)、智能体 (agent)
- 300亿美元的隐形公司：VastData 要做 AI 时代的操作系统同公司:NVIDIA · 同概念:微调 (fine tune)、推理 (inference)、智能体 (agent)
- 从 Hugging Face 到中国药企：NVIDIA 的开源终局与 AI 制药的未来同公司:NVIDIA、Hugging Face · 同概念:推理 (inference)、智能体 (agent)、微调 (fine tune)
换个口味
- Rackspace 首席 AI 官 Chetan Gupta:企业该停止纠结模型、开始思考架构同嘉宾:Chris Benson · 同概念:LLM、推理 (inference)、物理 AI (physical AI)
- Ed Zitron：生成式 AI 是一场万亿级骗局同公司:NVIDIA · 同概念:LLM、推理 (inference)、智能体 (agent)
- 当AI学会理解世界：World Labs 联合创始人谈 Atlas 与世界模型同概念:世界模型 (world model)、模拟 (simulation)、微调 (fine tune)、智能体 (agent)