跨国深谈← 返回←RL 环境:让模型学会用你电脑上所有工具的数据生意

RL 环境:让模型学会用你电脑上所有工具的数据生意

关联

人物 Brendan Foody

公司 Mercor

概念 RL 环境 · 后训练 · 验证器 · 合成数据 · 超长时程 · 虚拟同事 · RLHF · 智能体数据时代 · 基座模型

这一集聊的是当下 AI 数据行业最热的方向:RL 环境(让模型在模拟真实工作场景中反复练习、从打分中学习的训练环境)。主角是 Mercor 的 Brendan——这家公司四个月内收入运行率从 10 亿美元涨到 20 亿美元,是各大前沿实验室和应用公司最大的智能体数据供应商,客户从 Harvey、Sierra、Cognition 到 RAMP 。

先落地背景。数据市场 2020 年起步于众包时代:人工标注输入输出做监督微调,或从几个模型回答里挑更好的做 RLHF。

2024 年起风向大转——低技能众包让位给「智能体数据时代」:找全世界技能最高的专家(软件工程师、律师、医生、银行家),组队为下一代模型构建前沿评测和 RL 环境。Mercor 的第一个大项目是 DeepResearch,被视为最早的知名 RL 智能体 。

RL 环境到底是什么:世界、应用、任务三件套

一个 RL 环境包含三部分 :

• 世界:一个真实项目里会有的全部材料——消息、幻灯片、文档、表格等;
• 应用:热门软件的高保真克隆版(如 Salesforce、ServiceNow、Microsoft 365),智能体可以通过 MCP、CLI 或 CUA 与之交互;
• 任务:提示词加验证器(可以是评分细则或单元测试),既用于评测也用于训练。

前沿实验室要自动化你笔记本上的一切,瓶颈就是如何覆盖经济中「所有世界、所有应用、所有任务」的完整分布 。这件事规模惊人:劳动统计局的职业分类有 205 个领域,每个领域还要配上对应的应用、场景和任务。仅今年第二季度,Mercor 人才网络的专家投入就达 250 万小时,且增速还在加快 。

为什么大多数领域离不开人:模型没法给自己的作业打分

核心论点:在大多数领域,只有人类能衡量智能的前沿 。例外是数学这类有干净模拟环境的领域——对错一目了然,模型能从答案直接学习。

但像「做一份幻灯片」这种任务,模型极难可靠地识别自己哪里犯了错——「就好比让一个人给自己的作业打分」。所以需要人类像教授给论文定评分标准那样,创建评分细则。

构建验证器难在:你得理解完整的问题空间——哪 10 种幻灯片都是好路径?可能犯的几十种错误是什么?如何捕捉全部可能解的验证器?

一个已开源的真实例子是法律环境:让顶级律所(如 Latham and Watkins)的律师写下自己经办过的真实项目场景,构建完整的数据室大纲(消息、邮件、文件及大小),渲染进 Google Workspace 克隆版里,再出题让模型作答——比如依据《石油与石油法》评估某两家公司间的最大总责任 。专家再制定评分标准,要确保展开 100 条模型轨迹时打分全部准确——这在技术上极具挑战,需要大量研究和智能体质控 。

后训练真见效:1800 个任务,公司法从 4.7% 到 26.6%

环境建好后真能涨分。在一个 1800 个任务、约 50 万算力的后训练运行中(基座是 GLM 4.7),公司法成绩从 4.7% 提到 26.6%,而且泛化到了没有数据室的 GDPVal 和 Apex V1 上,在另一些基准上也有小幅提升 。

一个重要变量:GLM 5.2 和 Kimi K3 已登上 Mercor 的排行榜。Brendan 认为这给应用层公司在具体垂直领域实现前沿智能奠定了基础,「并不遥远」。

他断言:Cursor 证明了应用层公司能造出行业领先的模型,未来 12 个月会出现几十个这样的例子——公司拥有自己的智能,这将是护城河的关键来源 。因为 AI 战略的三大支柱是算力、算法/研究员、数据集,而数据往往是最具差异化的那个 。

数据怎么卖:三种模式和定价逻辑

Mercor 的三种售卖方式 :

1. 按任务定制(最常见):客户看中某种数据形态就说「每个任务付 2000 美元,给我扩到这个规模」。某些前沿实验室每月购买 5 万个任务;任务极复杂,有的要人类花长达一个月完成;
2. 现成数据:Mercor 已投入数亿美元自建数据集卖给多个客户——新实验室尤其倾向这个,因为 10 家实验室各建一套没意义;
3. 只提供专家:按小时计费,已非重点。Harvey 当年就是这么起步的(雇了一些律师),但客户最终都会转向技能型数据产品。

定价方法有两条线:一是从客户目标往回推——想在排行榜上到前沿,这事对你值多少钱?比如 NVIDIA 可能愿意花 10 亿美元拥有一个前沿开源模型;二是成本加成——一个要 10 小时人工、时薪 150 美元的任务,成本基础就是 1500 美元,再按差异化和前沿程度加利润率。任务单价从 50 美元到 10000 美元不等 。

数据质量的两个维度,以及「合成数据」的正名

「数据质量」其实指两件事 :一是真实性——环境是否反映真实律师工作场景的分布,这正是专家写大纲、主导数据整理的原因;二是验证器的准确性——方法是「轨迹分析」:对目标模型展开 10 条轨迹打分,智能体质控系统加人工审查,确保评分与「让人类给这 100 条轨迹排名」的结论一致 。

关于合成数据,Brendan 认为外界有很多误解:RLVR 本质上就是押注合成数据——展开一堆合成的模型轨迹而非让人写 SFT,打分后让模型从中学习 。模型也深度参与填充环境和创建任务,就像律师写备忘录该用 Claude 一样。

但人类不可替代,因为「几乎从定义上说,你需要人类来衡量模型能力前沿之外的东西」——让模型自己评判自己的法律备忘录好坏,噪音太大、没有清晰信号 。这也是为什么最离不开人的环节是任务创建:让模型(比如要改进的那个模型本身)写自己错在哪的评分标准,大约一半对一半错,这种噪音量级从训练角度看完全行不通 。例外:网络防御领域可以用攻击者/防御者智能体互搏做验证器,人只需架构真实环境 ;弱模型也可以从强模型(如 Kimi K3)创建的任务中蒸馏学习。

挑基座模型的土办法:Pass@1 和 Pass@16 的差距

怎么判断数据集对某个基座模型有没有训练价值?看 Pass@16 与 Pass@1 的差距(Pass@1 = 一次尝试就做对;Pass@16 = 展开 16 条轨迹里至少对一次):最理想是单次失败、但 16 次里能对上一两次——模型就能高效学习;如果 16 条全错、再展开 100 条才对一条,那基本没指望 。

往后看:超长时程和虚拟同事

两个最大的演变方向 :一是**超长时程——现在智能体大多没被训练做超过 10 小时的事,要开始为人类需要 100 甚至 1000 小时的任务构建训练;二是虚拟同事**——Brendan 喜欢问人:你工作中多大比例的任务需要与他人互动?多数人说 60-70%,但评估里衡量模型与人互动能力的只占约 1%,存在巨大的现实差距 。

本集带走

• RL 环境 = 世界 + 应用克隆 + 任务(提示词+验证器):想给自家领域做后训练,先盘清这个领域的真实材料、常用软件、任务类型各自长什么样。
• 模型打不了自己的分:凡是没有干净验证信号的领域(做幻灯片、写法律备忘录),评分标准必须由超越模型前沿的人类专家来定;你的模型自己写「我错在哪」,一半对一半错,没法用于训练。
• 小数据也能大涨分,关键是泛化:1800 个任务、约 50 万算力,让公司法从 4.7% 涨到 26.6%,还泛化到没训练过的基准上——垂直环境的杠杆比想象大。
• 挑基座看 Pass@1/Pass@16 差距:单次全错、偶尔能对的数据集才有训练价值;16 条全错的组合基本无解。
• 下一个前沿:超过 10 小时的超长时程任务,以及衡量「与他人协作」的评估(现实中六七成工作需要人际互动,现有评估只覆盖约 1%)。

这就好比让一个人给自己的作业打分。
It’s as if you would be asking a human to grade their own homework.
—— Brendan Foody · [05:12]

在接下来的 12 个月里,将会出现几十个类似的例子,公司拥有自己的智能,而这正是他们所构建的护城河的关键来源。
Over the next 12 months, there’s going to be dozens of examples just like that, where companies own their own intelligence, and that is the key source of the modes that they’re building.
—— Brendan Foody · [10:18]

像 NVIDIA 这样的公司,他们可能愿意花十亿美元拥有一个前沿开源模型。
NVIDIA, they’re probably willing to pay a billion dollars to have a frontier open source model.
—— Brendan Foody · [13:14]

我们的任务价格从 50 美元到 10000 美元不等。
We have tasks that range from $50to$10,000.
—— Brendan Foody · [14:00]

有趣的地方在于,我认为人们对「合成数据」的含义有很多误解,因为 RLVR 本质上就是一场对合成数据的押注。
So the fascinating thing is I think that there’s been a lot of misinterpretation of what people mean when they say synthetic data because like RLVR is a bet on synthetic data.
—— Brendan Foody · [16:38]

但人类仍然是这个过程中不可或缺且极具差异化的一部分,原因在于,几乎从定义上说,你需要人类来衡量模型能力前沿之外的东西。
But the reason that humans are still an essential component of the process that’s incredibly differentiated is that you need humans almost definitionally to measure what is beyond the frontier of the model capabilities.
—— Brendan Foody · [17:33]

比如现在,智能体大多没有被训练去执行超过 10 小时的事情。
Like right now, agents mostly aren’t trained to do things that are over 10 hours.
—— Brendan Foody · [20:01]

但如果把这一点对应到评估中,有多大比例的评估衡量模型与他人互动的能力,那大概是 1%。
But then if you map that on to what percentage of evals measure how well the models can interact with other people, it’s like 1%.
—— Brendan Foody · [20:38]