跑得比博尔特快没用？DeepMind 机器人负责人谈 Gemini Robotics 与 GPT-2 时代的机器人

关联

人物 Kirthana Gopalakrishnan

公司 Google DeepMind · Gemini Robotics

概念 人形机器人 · VLA · 泛化 · 跨载体 · 模拟 · 遥操作 · 世界建模 · ICL

机器人能跑得比最快的人类还快，这在互联网上刷了屏——但在 Google DeepMind 资深研究科学家、Gemini Robotics 研究负责人 Kirthana Gopalakrishnan 看来，这恰恰不是机器人实用性上的关键。

这是她第四次做客 The Cognitive Revolution,聊的是今天 AI 领域最大的悬念之一:通用机器人到底还要多久才能广泛有用？

机器人奥运会： impressive,但不是重点

今年夏天中国举办了机器人奥运会，人形机器人赛跑的视频到处流传。

Kirthana 说她爸爸都来问「你看到那些人形机器人在奔跑了吗」,印度的朋友也在讨论「中国造出了跑得比最快人类还快的机器人」。

从研究角度看她并不太惊讶，但承认它「以一种非常强烈的方式抓住了公众的想象力」，而且和 20 年前 DARPA 挑战赛里那些走两步、开个门就摔倒的机器人拼在一起对比，进步确实惊人。

但她随即泼了盆冷水：

奔跑这类运动(locomotion)能力恰恰是最容易在仿真里训练的——地面和墙面是刚性平坦表面，物理好建模，训练成本可控。

真正难的是操作(manipulation):「你关心的是接触，对吧？而接触何时发生、物体如何表现，这正是当前仿真开始有些崩溃的地方。」

叠布料难，因为有摩擦、有形变；抓取放置(pick and place)则相对扎实，因为接触动力学可预测。

一句话：物体越刚性、形变越小，仿真越好做(Sim2Real,即仿真中训练的能力能否迁移到现实，是机器人学的关键难点)。

至于跑得快到底有没有用？

她的回答很干脆：「我是一个非常多产的人，我的很多朋友也都在非常有成效地工作着，但我们跑得都没有 Usain Bolt 快。」

速度不是机器人实用性的限制因素，她和团队更关注让机器人在物理世界帮人做有用的事。

泛化 vs 精通：先抬水位，再爬高峰

机器人领域有个核心权衡：你可以做只擅长一两件事的狭窄 AI,但「做第 n 件事的成本和做第一件或第二件事的成本完全一样」。

而构建一个非常通用的基线，再快速调优到精通，要划算得多——「泛化和精通是两个某种程度上正交的轴，而做泛化就像是把所有船的水位都抬起来。」

她在 LLM 上已经看到过同样的剧本：最初人人做专用小模型，后来通用模型反超，再从通用基线爬到专精。

她认为同样的论点大概率适用于机器人。

机器人还在 GPT-2 时代

那机器人现在走到 LLM 的哪个阶段了？她的判断：「我认为还是 GPT-2」。理由有二：

一是少样本学习要能在很多不同任务上真正学得好才够 GPT-3 水平；二是机器人有个语言模型从未有过的麻烦——跨载体(cross embodiment)问题：

「如果它只在你的机器人、你的特定配置上有效，那它真的是一个通用大脑吗？」

GPT 跑在手机、Mac、Linux 上行为都一致，但机器人大脑换个身体可能就完全无能为力。

「要做出能把这些因素折算排除掉的、非常通用的大脑，还有很多工作要做。」

最近很多公司展示「看一次演示就能学会」的单样本泛化。

她认为这类结果本质上是「视频提示」——就像以前用文本提示、后来用图像提示，现在用视频提示基础模型，属于 ICL(上下文学习，不训练、只靠示例引导)光谱的一部分。

但有两个待解问题：模型是照抄还是真泛化(换个场景还能不能做)？

以及你提示的任务难度如何——「很多抓取放置模型有大量数据，但你能给机器人演示怎么系垃圾袋，然后它看完就能系好吗？

现在还相当早期。」

Gemini Robotics 2:三模型架构

今年夏天 Google 发布了三个模型。

Gemini Robotics ER 2 是具身推理模型，她称之为「机器人控制的 system 2 大脑」，基于 Gemini flash 系列调优，能做图像视频理解、语义推理，并且通过 API 开放——开发者可以像给数字智能体定义工具一样给它定义工具。

Gemini Robotics 2 是 VLA(视觉-语言-动作模型，把语言和图像映射到机器人关节动作)，「现在已能控制从指尖到脚部的整个机器人」。

Gemini Robotics On-Device 2 是能装进机器人自带电脑的更小版本，不依赖云端，能力可比但规模更小。

为什么 ER 先上 API?

因为「ER 在能力方面肯定更接近 Gemini 本身，所以它更成熟；而 Actions 离前沿更近」，怎么让动作模型更有用、更广泛地服务还有很多研究要做。

开放后的使用规模让团队惊讶——「一旦放到更广泛的平台上，事情会爆发到什么程度」，而且学术界的用法(基准测试、智能体如何影响机器人)和机器人公司的用法都很出乎意料。

关于 ER 与 VLA 之间的接口，这个方向叫可控性(steerability):VLA 目前可以通过语言和指向来操控，但不是给「放到这个像素位置」这样的 API。

「如果 ER 和 VLA 之间的模态只是文本，很多东西可能会丢失，所以我们希望那个接口随时间尽可能丰富。」

延迟问题怎么解？

她认为「不会是我们先做出慢的模型，然后再把它们变快」，而是同时做快模型和慢模型，再把它们蒸馏成一个——但某些能力可能只会在大模型里涌现，届时再想办法下沉。

而速度需求本身也分场景：「我说『机器人去把衣服叠了』，我并不在乎它叠多快，我在乎它叠得多好。」

ER 2 的 128K 上下文窗口，按密集编码大约相当于三分钟的记忆。她的「机器人上下文工程」建议：

不必全部用图像这种高密度模态保存，「很多时候关于我如何做事的叙述，即使是文本形式的总结，也相当有用」——就像人做饭，不需要逐帧记住每个动作，文本摘要就能维持连贯。

多任务串行还有个残酷的数学问题：

「如果你有 10 个任务按顺序执行，ER 模型有某个 x 成功率，VLA 模型有 y 成功率，那么你基本上就是在复合误差。」

很多失败其实出在编排上——什么时候算做完、怎么切到下一个任务。

硬件：手，一年跨过一个世代

上次做客时她说最需要硬件厂商给「好的手」。一年过去了，她自己的内在模型都在更新：

「Gemini Robotics 1 展示了用夹爪实现的大量灵巧性，只过了一年零一个季度，Gemini Robotics 2 能做多手指灵巧操作，可以系垃圾袋、对多指手做非常精细的控制。」

夹爪曾是灵巧性前沿，现在手部机器人能做夹爪能做的一切、还能做更多。

市面上的手已经「相当不错」，但在可靠性、可重复性和成本上还有工作要做。

力量方面存在很大区间：

她说 wuji 手大概相当于一个 10 岁孩子的力量，而 sharper 手据说能举起 20 公斤、也见过它开罐子——虽然「可能不是一个很紧的」。

主持人调侃：人类最后一份工作也许是帮机器人拧开它们手腕力量不够的罐子。

至于软体机器人，她态度务实：「对 AI 驱动的机器人来说，重要的是什么是可重复的、什么是耐用的。」

她真正感兴趣的是 UMI 这类带传感器的数据采集方案和触觉模态。

数据之争：别押注单一来源

NVIDIA 的 Jim Phan 博士主张未来训练数据会走向以自我中心的视频为主、遥操作和可穿戴设备数据萎缩、最终靠仿真解决一切。

Kirthana 拒绝站队：「一切都必须以结果为支撑，而且我认为做预测没有太大意义——通常是有一个预测，做实验验证，才知道对不对。」

她的分析框架是把每种数据源放在「规模 × 精度」的坐标上：

遥操作数据不太可扩展但高度精确(它就是机器人的数据)，可机器人硬件一进化它就贬值；

UMI 数据带传感器、比人类数据精确但受传感器拖累不够可扩展；

人类/自我中心数据最可扩展但嘈杂，且每个人身材不同、执行方式差异很大。

「我在这件事上采取非常教条的立场是不明智的，因为随着新证据和更好硬件的出现，这一切都会改变。

而且你很可能需要所有类型的数据。」

安全是一种能力

被问到对齐与安全会不会成为机器人部署的瓶颈，她的立场是「我把安全看作一种能力」——「人们不会使用不安全的机器人和不安全的智能体」。

她区分了几层安全：与 AI 无关的操作安全(摔倒的人形机器人本身就危险)；护栏类(完成任务同时不越界)；

以及机器人特有的传感器故障应对。她举了个好笑的演示：

有人把篮子扣在干活的人形机器人头上，它可以蒙着眼继续干，但正确反应是意识到「有东西挡住了我的视线，请你拿开」。

「安全是一个全系统的事情，从机械设计、系统安全一直贯穿到 ER 和高层大脑。」

人形外观还带来一层微妙问题：

她有「两个大脑」——研究者大脑知道这些是机器，但因为它们太像人，「那条边界会变得模糊」，新人接触机器人时需要更清楚地意识到这些是机器。

而且人形被评判的标准更苛刻：

「人们不指望夹爪机器人聪明，但一个人形机器人在那里乱摸一通、制造很多失败，就会被严厉得多地评判。」

没有定论，正是最有趣之处

对于机器人模型是否需要世界建模(一种对未来状态的内部预测，让系统能预判并与世界流畅交互)还是可以像 LLM 那样逐 token 循环推进，她的回答是「陪审团还没退场」：

「作为机器人学家，你不会在情感上依附于某一种方法——你依附的是问题本身。无论用什么方式解决问题，你都会选那个方式。」

而这恰恰是她眼里这行最迷人的地方：「这个领域还很早期，配方还没有稳定下来。

不同的人可以有非常不同的思想流派，我们会看到谁是对的——而且可能他们全都是对的。」

本集带走

• 别被赛跑视频带偏：奔跑这类刚性、平坦场景的任务最容易仿真训练，也离机器人实用性最远；真正的硬骨头是涉及接触、摩擦、形变的操作任务。
• 通用优先于专精：狭窄 AI 做第 n 件事的成本和第一件一样高；先建通用基线再调优到精通，是 LLM 验证过、机器人大概率复用的路线。
• 机器人还只是 GPT-2:跨载体(同一个大脑换不同身体都好用)没解决之前，谈不上通用大脑；这也是她判断「单样本学会系垃圾袋」这类演示为时尚早的原因。
• 快慢模型会并存再蒸馏：家用叠衣服不在乎速度、产线在乎，不同规模模型服务不同应用；部分能力可能只在大模型涌现，再想办法下沉到端侧。
• 数据没有银弹：遥操作(精准但不可扩展且随硬件过时)、UMI(带传感器、较精准)、人类自我中心视频(最可扩展但嘈杂)各有优劣，最终大概率是混合，并随硬件演进重新洗牌。
• 安全是能力不是约束：从机械急停、护栏遵守到传感器故障应对，安全贯穿全系统；不安全的机器人根本没人用。

【背景】Gemini Robotics 2 的 VLA 是 Google DeepMind 与 Apptronik、Agile Robots、Boston Dynamics 等合作伙伴共同构建的(转写稿中合作方名字系语音识别，Apptronik 写作 Aftronic);「sharper 手」很可能指 Shadow Hand。VLA 指视觉-语言-动作模型。

而做泛化就像是抬船，把所有船的水位都抬起来。
And working on generalization is like lifting the boat, lifting the wave for all the boats.
—— Kirthana Gopalakrishnan · [15:23]

如果它只在你的机器人、你的特定配置上有效，那它真的是一个通用大脑吗？
If it just works on your robot with your specific setup, is it really a generic brain?
—— Kirthana Gopalakrishnan · [20:41]

我认为我们会同时做出快的和慢的模型，然后把它们蒸馏成一个。
I think we are going to simultaneously make the fast and the slow models and then distill them to one.
—— Kirthana Gopalakrishnan · [30:00]

虽然我们看到跨具身方面取得了巨大的飞跃，但我认为把一个新具身完全零样本地应用到很多任务上并达到很高的可靠性，这件事我认为还没有很强的先例。
And while we see a large leap being made in cross-embodiment, I think that taking a new embodiment and completely zero-shotting it to a lot of tasks with very high reliability is still something that is, I don’t think there is a very strong precedent for that.
—— Kirthana Gopalakrishnan · [51:22]

如果你有 10 个任务按顺序执行，ER 模型有某个 x 成功率，VLA 模型有 y 成功率，那么如果你有一个按顺序执行的任务，你基本上就是在复合误差。
if you have 10 tasks in sequence and now you have the ER model which has a certain x success rate and the VLA model which has a y success rate now the if you have a sequencing task you are basically compounding the error.
—— Kirthana Gopalakrishnan · [52:39]

人们不会指望它聪明，但一个人形机器人在那里乱摸一通、制造很多失败，就会被严厉得多地评判
People don’t expect it to be smart, but a humanoid just grappling around and creating a lot of failures would be judged much harshly because
—— Kirthana Gopalakrishnan · [66:54]

而这也许是机器人领域工作最令人兴奋的部分之一，就是这个领域还很早期，配方还没有稳定下来。
And this is maybe one of the most exciting parts of working in robotics is that it is still very early that the recipes haven’t stabilized.
—— Kirthana Gopalakrishnan · [74:14]

所以我认为在这件事上采取非常教条的立场是不明智的，因为随着新证据的出现和更好硬件的出现，这一切都会改变。
So I don’t think it’s wise to take a very principled view about this because all of this will change as new evidence emerges and better hardware emerges.
—— Kirthana Gopalakrishnan · [78:31]

那些机器人没有一个是由机器学习驱动、连接到大模型的机器人，而现在情况已经非常不同了。
None of those robots were machine-learned robots, which was connected to the large models, and now things are very different.
—— Kirthana Gopalakrishnan · [56:23]