跨国深谈← 返回←编码智能体开始接管机器人：LLM 控制物理世界的前沿

编码智能体开始接管机器人：LLM 控制物理世界的前沿

关联

人物 Han Mei · Francois · Ham · Vincent · Jay

公司 Waddle Labs · RoboCurve

概念 智能体 · LLM · VLA · RT2 · 代码即策略 · 上下文学习 · 思维链 · 苦涩的教训 · 柏拉图表示假说 · harness · 延迟 · Astra · 计算机使用数据

这一集聊的是一个正在发生的转折：过去几年最大的惊喜之一，是编码智能体在不同领域之间的通用性——而现在，前沿研究人员正在表明，这也包括控制机器人。MIT 教授 Philip Isola 在最近一篇爆火的文章里提出，我们可能正在进入「机器人使用智能体」的时代。

请来的两位主角：Han Mei，Waddle Labs 联合创始人（与 Vincent 一起），他们做的是「构建控制机器人的 LLM」，路径是两条腿走路——先造一个让 LLM 高效驾驭机器人的 harness（框架），再收集数据训练更好的模型；以及 Jay，RoboCurve 联合创始人，他们是一家「物理 AI 的 evals 公司」，测一切：任何机器人、任何模型，从 LLM 到 VLA（视觉-语言-动作模型），本体涵盖机械臂、夹爪、人形、四足。两家公司的视频最近都在 Twitter 上爆火，还被 Isola 的文章引用——视频里 LLM 能拧瓶盖、多机器人通信、拔笔帽。

起点：RT2 与「苦涩教训」

一切要从 RT2 论文说起——在机器人上用 AI 最早的成功方法之一。他们把一个在网页文本和图像上预训练过的语言模型拿来微调，只是不让它输出英语，而是输出「末端执行器位姿」——也就是可以转换成关节指令、直接控制机器人的坐标。

Jay 的脑子里把这个类比为思维链（chain of thought）时刻：当年做 GSM8K 小学数学题，模型必须直接吐出「划四道、答案、结束」，没有思考空间；后来允许它先想「8 减 5 等于 3」再作答，能力就上去了。RT2 时代的 VLA 就是那个「必须直接输出动作」的阶段——无法为更复杂的任务分配更多算力。而现在，模型可以先用代码思考、思考、再输出动作。

Han Mei 把这归结为「苦涩教训」（bitter lesson，即通用方法+更多算力终会胜过人工巧思）的又一印证：给智能体更多自主权、更多资源，它能完成很多我们费劲微调它去做的事。但他的版本更具体：苦涩教训不在于你选什么架构，而在于什么数据最有用。

VLA 的数据瓶颈纠结多年、进展缓慢；而 LLM 的数据模态是「被眷顾的」——RT2 之所以好，正因为它接入了语言模型训练所用的全部数据模态，那些网络图片和文本实实在在地提升了它，胜过从零训练一个纯机器人基础模型。所以结论很激进：**为什么不直接构建一个非常好的基础 LLM，用它来控制机器人，而要去训练一个专门依赖机器人数据的模型？**他们想把计算机使用数据、编码数据统统灌进机器人模型。

代码即策略：一次性就能干活

顺着时间线回看，Jay 会先回溯到 Voyager——Minecraft 里最早的著名编码智能体，它展示了「编码智能体意味着好的工具使用和即时的工具创建」：用 Python 内置的 sort、if、for、while 这些「工具」组装出新工具，把思考和经验压缩进以后可以调用的新工具里。到了大家都想通的时候：把全部资源和算力砸向编码，就能自动化 ML 工程师、迎来腾飞——但 Han Mei 直言，头部实验室的掌门人未必有那个洞见，知道这会带来「好到能为机器人写策略的 LLM」。

【背景】原文段落缺内联时间戳，无法核对「Dario」「Sam」具体指谁及「2024 年」这一时间点；此处按原文可证范围改写为「头部实验室的掌门人」，并将年份从正文移除。

而更早的「代码即策略」论文（尤其 Google DeepMind 那几篇，2022 年底、约 ChatGPT 发布前后）已经展示了一件惊人的事：他们给编程智能体提供一列字面上的 Python 函数——拾取物体、抬起、移动到位姿——智能体就能写出调用这些函数的代码去完成复杂任务，而且可以一次性完成，不需要任何额外机器人数据，因为它已经在海量代码数据上训练过，天然知道「把方块移进碗里」该先做什么后做什么。Jay 认为正是这种一次性能力、这种上下文内探索能力，推动了包括他们自己在内的整条数据路线继续探索。

学习放哪里：上下文还是权重？

主持人 Francois 拿出一个框架：学到的经验该以什么形态回到策略里？最便宜的是 ICL（上下文内学习）——直接把「状态-动作-结果」元组附加进上下文，像带教科书考试。

他做过实验：留出一个任务，用 ICL 灌例子，每样本提升大、成本极低（没有 SGD、不耗 flops），但有三个硬限制：提升非单调、大约 20-40 个例子后基本饱和、一旦超出训练时的上下文长度（训练 10 万的话实际可用约 5 万）反而变差。往上走是对部分参数做轻量微调，再到完整 SFT/RL——如果你是 Tesla、有无限数据还用 ICL 做自动驾驶，那你在开玩笑；但低数据情境下 ICL 好得惊人。

【背景】这里「轻量微调」一类方法在业界常指 LoRA 等低秩适配技术，即只微调一小部分参数。

Waddle 的解法是把 harness 当成一种「领域特定性」：机器人在湿实验室里部署后，可以在上下文中学会很多，而巩固的方式是把每项学到的技能打包成具体程序——把技能和记忆写出来，是一种「从过去经验向未来智能体的蒸馏」。这还连着元学习的老传统：大模型给小模型编程，小模型只要够小够快就行。至于理论上 ICL 到底能走多远——有论文表明模型在上下文学习中也能近似梯度下降，Han Mei 说权重空间与符号空间的界限其实有点模糊，这真是谁都说不准。

柏拉图表示假说：强语言模型即强机器人模型

Isola 的「柏拉图表示假说」（名字取自柏拉图的洞穴：你看到的是各种现实的影子）指出，不同数据、不同训练策略下的模型，会收敛到对世界一致的距离映射。Jay 认为这是苦涩教训的最佳体现：如果你有一个非常强的语言模型，你就也有一个非常强的机器人模型——你只需要一个最强的模型，无论架构，它会胜过任何稍弱的专用模型。

那为什么最新的模型（Astra）空间智能突然强这么多？Han Mei 的猜测是它的视觉能力：可能在比以往多得多的计算机使用数据和 CAD 数据上做过预训练。

计算机使用数据为什么有用？乍不直观，但你想想：在屏幕上拖动光标旋转 CAD 物体、在 Blender 里做设计——这教会模型如何对空间推理，上下左右这些控制机器人必需的概念。

反向也成立：机器人社区发现，教会模型用机器人的不只是机器人数据，自我中心视角视频等也在被纳入。把这个推向极端就是：编程、计算机使用、自我中心视角，全部喂给同一个模型——这就是通往最强机器人使用智能体的路径。

主持人补了一个绝妙的历史回环：Xerox PARC 造图形界面，就是为了让计算机更像物理世界以便人类交互——结果我们造出的文件、文件夹、SolidWorks 那些旋转物体的 GUI，反而成了机器人学习物理世界的训练场。「我们没法让机器人在物理世界里工作，所以我们就在那个东西上训练，现在它成了。」

【背景】Xerox PARC(施乐帕克研究中心)是图形界面等众多计算机技术的发源地。

延迟与「睡觉」：从对话到实时

现在的演示仍有明显短板：直接用 Astra 每一步都在思考，延迟很慢、经济上不划算——重复性任务你不会想让 Astra 呆在循环里，该写代码（可以极快地反复运行）或调用已编译的技能。但趋势极快：他们观察到前沿级别 LLM 的延迟大约每月改善 2 倍——如果持续，年底前就可能实现实时控制。VLA 化的套路是：确定性的编码图里留出变化点（用 VLM 做物体检测、判断失败并灵活响应），让它既快又能泛化。

Han Mei 还给了一个生物学类比：最优做法可能是把新的状态-动作-奖励迅速放回上下文，但之后需要「睡一觉」——几乎所有有智能的系统都会睡觉，睡眠期间记忆被压缩、用来训练权重。对应到工程上就像 Dreamcoder：技能库在「睡眠阶段」被重构为更紧凑的表示。

今天也许你想重构的不再是程序，而是轨迹和技能。随着 Waddle 向前走，如何管理不断增长的技能上下文和部署数据，会是核心问题。

预测：两年内的 ChatGPT 时刻

Jay 抛出的判断相当大胆：Frontier 实验室和机器人基础模型公司内部已存在共识——未来两年内甚至更早，我们会有通用机器人。所谓通用，是给出任何自然语言指令，它能做到一个能干的青少年用双手能做到的事；相当于机器人版的 ChatGPT 时刻——泛化到未见过的任务和环境。

而社会对此可能毫无准备，甚至毫无意识。Waddle 的路径是分步走：先解决把 Astra 的第一遍上下文学习整合成可高速反复运行的技能或策略。主持人以认同收尾：更广泛的社会确实还没意识到即将到来的东西有多少。

本集带走

• 强语言模型 ≈ 强机器人模型：按柏拉图表示假说，模型越大、数据越多，会收敛到一致的世界表示——所以与其训练专用机器人模型，不如用最强的基础 LLM 直接控制机器人。
• 机器人数据瓶颈的绕法：不是去造更多机器人数据，而是把「分布外」的机器人任务变成「分布内」——计算机使用、CAD、编码、自我中心视角视频都能教会模型空间推理。
• 代码即策略的一次性魔力：给编码智能体一列 Python 技能函数，它不靠额外机器人数据就能一次性写出控制代码——因为它早已在海量代码上训练过。
• 经验的正确安放是一套层级：低数据用 ICL（快但约 20-40 例就饱和、超上下文长度反而变差），重复性技能编译成代码或工具调用，周期性的「睡眠」把轨迹蒸馏回权重。
• 延迟不再是死结：前沿 LLM 延迟约每月改善 2 倍，年底前可能实现机器人实时控制。
• 行业共识的时间表：两年内甚至更早出现通用机器人——能听懂任意自然语言指令、做到能干青少年双手能做的事；而社会还没准备好。

Frontier 实验室内部以及机器人基础模型公司之间存在某种共识，那就是我们将在未来两年内甚至更早拥有通用机器人。
There’s some consensus within the Frontier Labs and also in the Robotics Foundation models companies that will have general-purpose robots within the next two years or even earlier.
—— Jay · [26:32]

当我们说通用机器人时，我们的意思是，如果你给出任何自然语言指令，它能做到一个能干的青少年用双手能做到的事情。
And when we say general-purpose robots, we mean something like if you give any natural language instruction, it can do what a competent teenager could do with their bare hands.
—— Jay · [26:48]

所以对我而言，就是，好吧，为什么不直接构建一个非常好的基础 LLM，然后用它来控制机器人，而不是训练一个专门面向机器人、更依赖于纯机器人数据的模型。
And then so to me, it’s like, okay, why not just build a really good foundational LLM and then use that to control robots rather than training like a model that’s specifically for robotics and that’s more dependent on just robot data.
—— Ham · [06:52]

所以如果我们把这个推向极端，那就是：为什么不把每一种数据——编程、计算机使用、自我中心视角——都喂给同一个模型？我认为这就是我们如何得到最强机器人使用智能体的路径。
So if we take this to the extreme, it’s like, why not feed every kind of data, coding, computer use, egocentric, into the same model? I think that’s how we get to the most capable robot use agent.
—— Ham · [25:00]

而令人非常惊讶、表现突出的一点是，编程智能体可以一次性完成这件事。它们不需要额外的机器人数据就能用这些代码工作，因为它们已经在如此多的代码数据上训练过了。
And what was very surprising, what excelled was that coding agents can do this very one-shot. They did not need additional robot data in order to work with this code because they’re already trained on so much coding data.
—— Ham · [10:11]

我们观察到的一件事是，对于 Fable 级别的 LLM，它们的延迟大约每月改善 2 倍，这是非常非常快的。
So one thing that we saw is that for Fable class LLMs, their latency is improving by around 2x per month, which is very, very fast.
—— Jay · [17:35]

而且我可以用真正的编程智能体取代整个机器人学领域。
And I can displace all of robotics with actual coding agents.
—— Francois · [09:04]

一旦超过 50,000，你就不会再有提升了。你实际上只会变得更糟，因为模型无法对所有内容保持注意力。
Once you exceed 50,000, you don’t improve anymore. You actually just get worse because the model can’t attend over everything.
—— Francois · [13:02]

最优做法可能是把一个新的状态-动作-奖励放回上下文里，因为这非常快，但之后就需要某种类似睡一会儿的东西，几乎所有有智能的东西都会睡觉，告诉我一个不以某种方式睡觉的智能系统，对吧，然后……
The optimal thing to do may be to put a new SAR state action reward back into context because it’s very quick, but then there needs to be some like of go to sleep for a while, like almost everything that is intelligent sleeps, like tell me an intelligent system that doesn’t sleep, right, in some way, and then…
—— Francois · [27:46]

过去几年最大的惊喜之一，是编码智能体在不同领域之间的通用性。
One of the big surprises the last few years has been the generalizability of coding agents across different domains.
—— Han Mei · [00:00]