跨国深谈← 返回←机器人捡起香蕉当扫帚：Generalist 的物理世界通用智能

机器人捡起香蕉当扫帚：Generalist 的物理世界通用智能

关联

人物 Pete Florence

公司 通才

概念 Gem 1.5 · 缩放定律 · 少样本学习 · 跨载体 · 手（末端执行器） · VLA · 世界模型 · 物理泛化 · 精通

机器人面前的扫帚被换成了一根香蕉——它捡起香蕉，把它当扫帚用。

再换成簸箕，它一手举簸箕，另一只手当刷子把方块扫进去，再倒进碗里。这不是程序写好的，而是模型自己想出来的。

说这话的是 Pete Florence，机器人公司 Generalist 的联合创始人兼 CEO。他曾在 Google 参与做出最早的视觉-语言-动作模型。

在这期 Greylock 播客里，他讲了这家公司两年多来走到 Gen 1.5 的路。

几年前，这一切都不可能

Florence 回忆，他读研究生时，会一个人坐在机器人前遥控操作。

模型只在 1 小时的机器人数据上训练过，可训练参数只有几万个，勉强能做几个任务。

后来在 Google，数据规模涨到几千小时，开始出现有意思的现象。但即便如此，把曲线外推到今天的数据量，也没人敢保证会有效果。

同期，视频生成模型刚刚起步时，拿 YouTube 训练，模型只会预测灰色像素——连记住训练数据都做不到。

所以创办 Generalist 时的核心风险很简单：这一切可能根本做不成。

现在为什么行了？

没有单一的突破。Florence 看了一眼公司内部的训练看板：历史上有数万次训练实验，每一个都在回答 A 方案和 B 方案哪个更好 。

这些实验加起来，决定了数据怎么采集、怎么清洗、训练基础设施怎么搭、推理怎么做、部署怎么落地。

这不是从互联网下载数据碰运气的语言模型，而是各个环节环环相扣的工程。

三个模型，三级台阶

Gen 0 在公司成立一年半后发布，核心成果是验证了机器人的缩放定律——数据、算力、模型规模加大，能力可预测地上升。

就像 GPT-3 之前的语言模型一样，有了这条可预测的曲线，才有底气继续加大投入。

Gen 1 证明了同一个通用模型可以在多个任务上达到 99% 以上的成功率 。

Florence 强调，光看成功率不够，他们用精通这个词，还包括速度，以及一种即兴智能——面对意外场景会随机应变。

Gen 1.5 则出现了单样本和小样本学习：看一次演示就能学会新任务。

而且这个能力不是专门训练出来的，是随规模提升自然出现的——和 GPT-3 当年的少样本学习一样。

香蕉和簸箕：真正的物理泛化

回到开头的例子。模型学的是用刷子把方块扫进碗里。换上香蕉，它自己判断香蕉可以当刷子。

Florence 说，香蕉的形状和刷子差别很大，这说明模型真有物理直觉 。

簸箕的例子更妙。模型本可以把簸箕当刷子使，但它选择用另一只手当刷子，把方块扫进簸箕，再端起来倒进碗里。

它理解的是任务的意图，而不是死记动作。

Florence 打了个比方：这就像考 LSAT 拿高分——重点不是那几分，而是背后确实存在推理能力。

跨机身？关键是那双手

行业里常说的跨机身（cross embodiment），Florence 有自己的看法：重要的不是把能力从一种机器人搬到另一种，而是模型本身就能支持多种机身。

这不是加分项，是必需品——硬件一直在变，供应链会变，厂商会停产，积累的智能必须能迁移。

而其中最难的部分是手。手是机器人真正接触世界的地方，手的几何形状、接触方式决定了物理交互的一切 。

他们的进展是：Gen 1 的预训练里没有任何机器人数据，学新任务的同时也在适应新机身，1 小时数据就能上手。

一个多月前他们宣布，正在采集数据的手已经超过 9000 种不同形态——两指、五指、螺丝刀、胶带枪，什么都有。

选哪种手，就像选法拉利还是越野车，是性能和成本的权衡，模型应该都能用。

不站队 VLA 还是世界模型

业内喜欢分阵营：视觉-语言-动作模型（VLA）还是世界模型。

Florence 说自己参与做出了最早的 VLA，也做了多年世界模型，但他认为这种站队没意义 。

机器学习的历史反复证明：模型什么都能做。真正重要的是目标——比如从单次演示学会新任务。

哪个方法或方法组合能达成目标，就用哪个。在 Generalist，他们随时愿意推翻自己走过的整条路线。

客户现场是最好的考场

Florence 认为，模型必须接触现实，不能只在白板上想任务。

和客户合作一来让对方用上前沿模型，二来真实环境里的评估会反过来排研究优先级、提供数据。

而且客户懂行业：知道哪些机器重要、哪些流程重要，能帮他们做到单打独斗做不到的事。

本集带走

• 机器人模型的少样本学习已经出现，且是自然涌现而非专门训练的，类似 GPT-3 时刻。
• 物理泛化的标志：机器人能把香蕉当刷子、用手当扫帚，理解任务意图而非照搬动作。
• 缩放定律在机器人领域已验证，数据、算力加大，能力可预测地提升。
• 跨机身里最难的是手——超过 9000 种不同形态的手正在被用于采集数据。
• 不必在 VLA 和世界模型之间站队，能达成目标的方法组合就是好方法。

那个模型只会用单一一个小时的机器人数据来训练。
That model would only ever be trained on one single hour of robot data.
—— Pete Florence · [01:30]

虽然说出来很简单，我不知道在当时，也许甚至到现在，还有哪个任何人展示过的通用模型，能在几个不同的任务上达到 99% 以上的成功率。
As simple as it is to state, I don’t know of at the time, and maybe even still, another like general model that anybody had shown could achieve like 99% plus success rates on several different tasks.
—— Pete Florence · [10:36]

所有这些能力，包括单样本和少样本学习能力，都不是被明确训练出来的。
All of these capabilities, including the one-shot and few-shot warning capability, were not explicitly trained for.
—— Pete Florence · [14:54]

你知道的，我认为「涌现」这个词完全就是被滥用得不成样子了，因为人们觉得，哦，如果我说它是涌现的，人们就会兴奋。
You know, I think that the phrase emergent is completely like it just gets clobbered over the head and overused because people think like, oh, you know, people are going to be excited if I say it’s emergent.
—— Pete Florence · [15:22]

它的预训练中没有任何机器人数据。
had zero robot data in its pre-training.
—— Pete Florence · [19:50]

你真正想要的是一个模型，是的，它能做五指手，但它什么都能做。
What you really want is you really want a model that, yes, it can do five-finger hands, but it can do anything.
—— Pete Florence · [21:32]

重要的不只是把你的模型对齐到某个品牌或模型类型，而是在机器学习的发展历程中我们一遍又一遍学到的是，一切都是可能的，而且一切都非常简单。
What matters isn’t just aligning your model to a certain brand of model type, but rather the thing that we always learn over and over again over the arc of machine learning is that everything is possible and everything is very simple.
—— Pete Florence · [26:09]