跨国深谈← 返回←训练机器人缺数据？答案藏在数十亿网络视频里

训练机器人缺数据？答案藏在数十亿网络视频里

关联

人物 Rafael Levi

公司 Bright Data

概念 世界模型 · 视频索引 · 训练数据

训练 AI 机器人，最难的部分已经不是模型，而是数据。Bright Data 的 Rafael(在这家做数据采集的公司干了八年多)在一次演讲里给出了一个数据来源的新思路：别再雇人录动作了，去网上搜视频——但要按「动作」搜，不是按标题搜。

先把问题的量级摆出来。聊天 LLM 有数万亿词的文本可以吃，图像生成有数十亿张带标注的图片，但机器人领域呢？只有大约一百万个「机器人在做事情」的视频，数据集非常小 。

现在业界的补法主要有几条路，Rafael 逐个拆了：

• 雇人录动作：付钱让人录「怎么开门」「怎么坐下」。问题是被要求做动作时，人做得不自然——动作跟你平常随手开门完全不同，这是有偏差的数据，训练效果打折扣。而且人在镜头前本来就会变行为。
• 仿真：便宜，但电子游戏里的物理引擎「几乎可以了，但还不足以用来训练机器人」。
• 手动遥控机器人采数据：可行但不可扩展——一天顶多录八小时，一年能攒多少？

替代方案就是网络。YouTube 上有大约五十亿个视频，第一人称开门的视频可能有数百万小时；每天都有网络视频在展示重力、运动、因果(事故就是最大的因果关系)，是机器人很好的训练素材 。

这不只是直觉，有实证：Meta 训练的一个 AI 模型，先喂了大约一百万小时的真实世界视频，之后只需要 62 小时的真实机器人数据，就能实际控制一个真机器人——全程不需要仿真 。

「视频里没人告诉你机器臂该怎么动」也不是障碍。已有方法可以让 AI 逐帧对比两幅画面、测量运动差异，持续做下去就能推算出角度、距离等训练所需的全部信息——所以不一定需要传感器数据，只需要对视频做加工 。

真正的问题是噪音和浪费。NVIDIA 训练 Cosmos 机器人时下载一百万小时视频、丢掉大约 96%;Stable Video Diffusion 也丢弃 74%。这些是白白浪费的算力、带宽、存储和钱 。

于是 Bright Data 的产品思路是「先搜索，后采集」：预先给数十亿视频建索引(目前已索引 11 亿个)，让你按动作搜索——输入「人在洗碗」「人在叠 T 恤」这样带细节的查询(描述越细，返回越准)，直接拿到这些动作的视频片段，而不是先下载百万小时再扔掉九成。片段附带时间戳、匹配得分和帧数，通过 API 返回，再稍做运动/距离处理就能喂给机器人训练。噪音少了，训练时的幻觉问题也跟着减少 。

用途也不止机器人。机器人训练之外，物理世界模型、甚至品牌监测都用得上——视频标题完全没提你的品牌，但画面里桌上摆着你的化妆品，按标题搜索永远找不到，按画面索引就能找到 。

【背景】Waymo 等自动驾驶公司确实依赖大量行车视频数据训练模型，但这是讲者未提及的背景补充。

Rafael 的核心质问是：所有东西都能在网上找到时，为什么要雇一百万人去录开门视频？

本集带走

• 机器人训练的数据瓶颈是真实的：文本有数万亿词、图片有数十亿张，机器人视频只有约一百万个，量级差了三四个数量级。
• 网络视频可以当机器人的训练数据：Meta 用约一百万小时通用视频 + 仅 62 小时机器人数据就让 AI 控制了真机器人；AI 可以靠逐帧测运动差异从普通视频里提取角度、距离，不需要传感器数据。
• 雇人录动作的数据是带偏差的：被指令做的动作不自然，不等于直觉行为，训练效果不同。
• 「先搜索、后采集」避免绝大部分浪费：直接按动作检索预索引的视频(他们已索引 11 亿个)，拿到片段而非下载百万小时再丢掉 96%。
• 按画面索引解锁按标题搜不到的信息：品牌露出、特定动作、事故片段——标题里没写的，画面里有。

正如我所说,AI 已经不再是难的部分了,数据才是。
So as I said, the AI is no longer the hard part. The data is.
—— Rafael Levi · [02:31]

电子游戏里的物理效果几乎可以了,但还不足以用来训练机器人。
The physics in video games are almost there, but they’re not good enough to train a robot on it.
—— Rafael Levi · [04:44]

他们给它大约一百万小时的真实世界视频,然后只需要 62 小时的真实机器人数据,就能实际控制一个真实的机器人。
They gave it about a million hours of real-world videos, and then all it took is 62 hours of real robotics data to actually control a real robot.
—— Rafael Levi · [06:17]

比如说,NVIDIA 在训练 Cosmos 机器人时,他们丢弃了大约 96% 的视频。
So for example, NVIDIA, when they train in the Cosmos robot, they’re throwing out about 96% of the video.
—— Rafael Levi · [08:00]

我们在数十亿个预先建好索引的视频中进行搜索,不是按关键词而是按动作搜索,并为你提供可以直接使用的片段。
We search through billions and billions of pre-indexed videos, not by keywords but by actions, and we provide you with ready-to-use clips.
—— Rafael Levi · [09:32]

你给的描述越多,你实际得到的内容就越多。
The more description you give, the more you actually get back.
—— Rafael Levi · [11:01]

当所有东西都能在网上找到时,为什么需要一百万人去做这件事？
Why do you need a million people doing that when everything is available online?
—— Rafael Levi · [14:34]