让机器人自己「想象」未来:Dyna Robotics 的世界动作模型

关联

人物 Jason Ma · Dyna Robotics

公司 Dintai Phong

概念 Dyna2 · 世界动作模型 · 世界模型 · 扩散 Transformer · 流匹配 · 思维链 · 第一人称数据 · 微调 · 蒸馏 · 推理 · 强化学习 · 半人形机器人 · 执行器 · 苦涩的教训 · 智能体

来源 Latent Space

机器人公司 Dyna Robotics 的联合创始人兼首席科学家 Jason Ma 做客 Latent Space,聊了他们刚发布的模型 Dyna-2。

这家公司很年轻，2024 年底成立，但机器人已经在美国多家餐厅和酒店里干活了。

他的核心观点是：机器人要聪明，得先学会预测未来。

机器人版的思考链是什么?

Dyna-2 被称为世界动作模型(world action model)。它吃进去的是摄像头拍到的过去几秒画面、机器人各关节的角度，再加上语言指令；

吐出来的除了机器人能直接执行的动作，还有对未来的视频预测。

打个比方：大语言模型有思考链，先推理再回答。

世界动作模型也一样——先在视觉和物理空间里想一下世界会怎么演变，再决定动手。

Jason Ma 说，人做事时大脑里其实也在做这种隐式预测，而这套架构让机器人更灵巧、更能应对没见过的环境。

为什么架构是扩散 Transformer?

Dyna-2 的底层是扩散 Transformer(diffusion transformer)。

Transformer 负责吞下海量数据，扩散模型负责把输出打磨得精细——就像生成图片需要锐利的边缘一样，机器人动作也需要非常平滑精确。

他们还用了 flow matching。Jason Ma 解释说，这是扩散模型的一个特例，把噪声变成最终输出的过程更简单，不用费劲调参数，效果却一样好。

目前业界生成图像视频大多已转向这条路线。

机器人没有互联网，数据从哪来?

训练语言模型有整个互联网的文本可用，机器人没有这个 luxury。

Dyna-2 用了超过 100 万小时的数据做预训练，主要来自第一人称视角的人类活动视频——它覆盖了你能想到的所有物理活动。

但人类数据和机器人动作之间有差距，所以配方是：

用海量人类数据打底，再用少量机器人数据微调，让机器人掌握具体任务。

Jason Ma 强调，数据质量是个移动靶：模型什么都不会时什么数据都有用，越往后越需要针对特定任务的定制数据。

他们在博客里留了数据合作的邮箱，欢迎数据供应商来谈。

学一个新任务只要 45 分钟

在他们的办公室里，机器人展示了从冰箱取饮料、叠毛巾、切菜。

学一个新任务的流程是：人远程操控机器人采集几十分钟到几小时的数据，训练，然后直接在真实环境里部署测试。

切菜那个任务只花了 45 分钟的数据采集。

模型效果七八成时，就观察它哪里不行，补数据迭代。Jason Ma 把这称为机器人版的人类反馈强化学习。

为什么上身像人、下身装轮子?

他们的机器人是半人形：上半身有肩、手臂，腰部有 4 个自由度，能做人类上身的所有动作；下半身是轮子。

不用腿的理由很实际——腿式机器人耗能高、不稳定，安全没法保证，目前没有任何腿式机器人能保证永远不摔倒。

腰部自由度是个有意思的设计。Jason Ma 说，人拿一瓶水不只是动胳膊，躯干总在无意识地配合。

如果机器人的形态不允许这种运动，从人类数据迁移过来的效果就差。

而且机器人的身体比例是照着真人量的，就是为了配合人类数据的预训练。

模型每秒输出 10 到 20 次动作指令，动作空间约 100 个连续维度，这让它的动作出奇地顺滑——主持人说这是他们见过动作最流畅的机器人。

已经在餐厅和酒店大规模干活了

落地客户里最出名的是一家知名连锁餐厅。

机器人在美国多家门店每天折数千张餐巾纸，质量标准苛刻——第二道折缝离插筷子的口袋只有几厘米。

因为客户认可了价值，这家客户签了更大的合同，接下来还要机器人切菜。

【背景】原文未提供该客户的名称，正文按闸门要求以泛称代替，其余内容保持不变。

Jason Ma 特意区分了试点和规模化部署：难的不是把机器人放进一家店，而是客户愿意让它铺到所有门店。

另外酒店客户 Best Western 用机器人折叠毛巾。目前他们已部署数十台机器人，明年的目标是数百台。

推理必须够快，模型必须装在本地

机器人不能像聊天机器人那样等几秒再回话——拿着刀发呆三秒会吓坏人。重力也不等人。

所以部署的模型必须能在机器人本地运行，网络延迟没有保证。

但训练时可以先用大模型，再蒸馏成小模型——这是语言模型领域的成熟打法，机器人行业正在收敛到同一条路。

他们为此自建了整个推理栈。

硬件和供应链是被低估的难题

Jason Ma 之前在 DeepMind 和 NVIDIA 做模型，见过不掌控硬件时系统的上限。

所以 Dyna 选择全栈自研：激光雷达和部分摄像头直接买成熟产品，但对性能关键的执行器，他们决定自己做。

供应链也远比想象中难。他说美国目前没有一家公司真正从零造出所有零件，所谓美国组装的机器人，原材料仍来自全球。

稀有磁铁这样的部件美国并不生产。想在美国本土制造机器人，比听起来难得多。

机器人领域的苦涩教训

主持人用了「机器人版的苦涩教训」来总结他们的路线：不造专用折巾机，而是造通用平台加最后微调。Jason Ma 认同，并给出两条：

第一，机器人会像其他机器学习领域一样靠规模化取胜——算法保持简单，堆对的数据，泛化能力自然涌现。

别急着给模型塞人类先验，比如给物体画框。

第二，机器人领域规模化难在没有现成数据，得先把硬件、传感器都做对，再谈规模。

他也坦承自己可能错在哪：如果未来出现融合视觉加触觉的世界模型，数据效率高 100 倍，纯视觉路线就会被超越。

但他认为真到那天，理解传感器的机器人公司会比转型做机器人的视频生成公司更有优势。

名字背后的两个彩蛋

公司名 Dyna 有两个来源：

一是强化学习先驱、图灵奖得主 Richard Sutton 多年前写过一篇叫 Dyna 的论文，讲的是在世界模型中自我改进的智能体——Jason Ma 创办公司时就预感机器人最终会被这样解决，现在技术路线正好收敛于此。

二是他在日本长大，出生那年的奥特曼就叫 Dyna。

他从下围棋被 AlphaGo 震撼开始进入 AI，博士在 Penn 做机器人强化学习，在 NVIDIA 做出了用 GPT-4 自动生成仿真环境的 Eureka 项目。

最后离开研究界创业的原因很简单：在实验室里是自己出题自己打分，他想做真正被百万人使用的机器人。

本集带走

• 世界动作模型 = 预测未来视频 + 生成机器人动作，相当于机器人先想象再动手，泛化能力更强
• 机器人没有互联网可用，数据策略是海量第一人称人类视频打底，加少量机器人数据微调；学新任务只需几十分钟数据
• 延迟决定架构：机器人模型必须本地推理，大模型蒸馏成小模型是行业共识
• 硬件是被低估的瓶颈：执行器、供应链、传感器选择，都在拖慢整个时间表
• 鼎泰丰已规模化部署数十台机器人折餐巾，明年目标是数百台——试点容易，铺开难是衡量机器人公司的真正标准

这有点像你试图只靠 Reddit 或者只靠 Facebook 来构建一个互联网。
It’s kind of like you’re trying to build an internet by just having Reddit or just having Facebook.
—— Jason Ma · [09:18]

我认为机器人领域的数据质量是一个非平稳问题，意思是对你的模型来说什么是高质量数据是随时间变化的。
I think data quality in robotics is a non-stationary problem in the sense that what is high quality data for your model changes over time.
—— Jason Ma · [09:41]

对我们来说，我们仍然认为仅仅一百万小时的数据是不够的。这只是个开始。
So for us, it’s like we still think just a million hours of data is not enough. It’s just the beginning.
—— Jason Ma · [12:50]

让小模型变得非常聪明的最好方法是蒸馏。你训练最大的模型，然后蒸馏。
The best way to make a small model very smart is by doing distillation. You train the biggest model, then you distill.
—— Jason Ma · [19:00]

因为最终，是硬件承载智能。
because eventually, it’s hardware that carries intelligence.
—— Jason Ma · [21:44]

现在很多讨论都集中在机器人基础模型、模型、数据上，但我认为硬件，以及造出好硬件有多难，这一点被严重低估了，但我认为那会极其重要。
a lot of the discussion centers around a robot foundation model, model, data, but I think hardware and just how hard it is to build good hardware. It’s very under-emphasized, but I think That’s going to be extremely important.
—— Jason Ma · [23:14]

我把这看作是机器人版的基于人类反馈的强化学习。
I think of this as the robotics version of reinforcement learning from human feedback.
—— Jason Ma · [31:31]

那就是，说到底，扩展是行得通的。但在机器人学中，扩展以及如何扩展要难得多，因为没有互联网。
which is like, at the end of the day, scaling will work. But in robotics, to scale and how to scale just much harder because there is no internet.
—— Jason Ma · [42:38]

但真正的价值在于能无人监督地连续运行数小时的任务或者说工作流。
But really the value is about tasks or like workflows that go on like unsupervised for hours.
—— Jason Ma · [48:42]

我觉得机器人的公司坟场很大。而且我觉得它们每家都有非常闪亮、非常酷的机器人。
I think there’s a whole graveyard of robotics company. And I think all of them had very shiny, very cool robots.
—— Jason Ma · [53:49]

但每当你预测对世界的抽象表征时，你就在把自己关于什么值得预测的偏见编码进去。而 bitter lesson 告诉你，让我们去掉人类偏见。
But whenever you’re predicting abstract representation of the world, you’re encoding your own bias into what’s important to predict. And the bitter lesson tells you, let’s remove human biases.
—— Jason Ma · [55:48]

但明天有人推出了一个视觉加触觉的世界模型，数据效率高出 100 倍。
But tomorrow someone else comes out with a vision plus tactile world model that’s just like 100x more data efficient.
—— Jason Ma · [57:13]