每家公司都该有自己的AI模型吗？

关联

人物 Yash

公司 Applied Compute · OpenAI · Base 10 · Harvey

概念 后训练 · RL · 评估 · 推理 · 开源模型 · 前沿模型 · 分布外数据 · harness · GPU

AI圈最近流行一个说法：企业要拥有自己的智能，不要被几家头部实验室卡住脖子。

Yash 是 Applied Compute 的创始人，曾在 OpenAI 参与 Codex 项目，现在专门帮企业做开源模型的后训练和部署。

这期 Unsupervised Learning 播客里，他聊了哪些担忧是真的、哪些被夸大了，以及强化学习到底能做什么。

担心实验室使坏？真正的问题是控制权

Yash 不太认同那些阴谋论式的担忧——实验室偷你的数据、随时掐断接口。这些公司有合同约束，也有大量工程投入保护数据。

他认为拥有自己的智能真正的含义是灵活性和控制权：模型跑在哪里、怎么部署、优化成本还是延迟、针对哪个领域优化。

要做到这些，你必须拿到模型的权重。

但依赖单一供应商的风险确实存在。模型被从产品里撤下的事已经发生过不止一次，尤其在编程领域。

随着实验室自己往垂直领域做产品，它们还会不会继续服务自己的直接竞争对手，是个问号。

OpenAI 和 Base 10 合作说明了什么

就在这期节目录制前不久，OpenAI 宣布和 Base 10 合作，用户可以把 OpenAI 的额度花在开源模型上。

Yash 认为这是个明确信号：未来是多模型的，客户要选择权。他打趣说，唯一的悬念是 OpenAI 会不会走极端，连 Anthropic 和 Gemini 的模型也让你跑。

【背景】Base 10 是一家投资机构；此合作让企业的 OpenAI 承诺额度可以用于 Base 10 部署的开源模型。

他还观察到舆论的转变：

几个月前大家只谈最强最大的模型，现在谈的是成本和性能的权衡曲线——不是每个任务都需要超大模型。

后训练什么时候能超越头部模型

答案是：当你的数据足够独特的时候。

Yash 的经验法则是，你的数据越是分布外——也就是通用模型没见过的——后训练带来的能力提升越明显。

比如制药公司专注某个疾病领域的实验数据，天然就是独家的。

但更常见的动机是省钱：把一个便宜的小模型训练到和头部模型相当的水平，成本却低得多。

在大规模使用场景下，这省下的钱相当可观。他甚至说，很多公司后训练纯粹就是在优化性价比。

强化学习其实是一台爬山机器

Yash 有个很好用的比喻：强化学习本质上是一台爬山机器，最难的其实是定义那座山——也就是评判标准。

这也是为什么评测体系对企业如此重要，而且要严加保密：

公开的基准都会被人针对，如果你把什么算好告诉了全世界，等于帮竞争对手训练。

有个冷知识：强化学习并不只适用于有标准答案的数学题。

没有唯一答案的任务，只要让专家给出参考答案、拿模型的表现去对照打分，效果也相当不错。

而不同公司的专家判断不同，训出来的模型就不同——这就是企业自有模型的价值所在。

他的另一个警告很生动：你的员工不是可以随意替换的，你不会愿意他们跑去别家公司干活。模型也一样。

什么样的公司值得自训模型

Yash 的公司只挑两类客户：要么数据极其独特，比如制药、网络安全、芯片公司；

要么推理工作量巨大，把优化收益摊到海量用户和海量请求上，价值同样惊人。

他认为「世界上有多少公司就该有多少模型」这个愿景方向是对的，但每家公司未必都要从头训练。

核心是每家公司内部都有值得捕捉的闭环反馈系统。他区分了两类任务：

流程性的、按部就班的任务，通用模型会越来越好地直接覆盖；而依赖判断力的任务，才需要持续迭代训练。

为什么最懂训练的人会赢下推理

这是全片最有趣的观点：后训练做得最多的人，会赢下推理市场。

逻辑是，花的钱最多、规模最大的工作负载，恰恰是后训练收益最大的地方。

而且训练和推理可以共同优化——训练时知道模型擅长什么，部署时就能针对性地配置集群。

比如一个重度使用工具的长任务智能体，部署方式和重文本生成的工作负载完全不同。

他举了个例子：你可以优化推理引擎省 10% 的账单，也可以把模型训得少用 10% 的词元，效果一样。两条路是同一枚硬币的两面。

采访里最反直觉的一条建议

Yash 在 OpenAI 时主要做 Codex，但他注意到自己认识的最优秀的工程师都是 AI 出现之前学会写代码的。

他的观点不是反对 AI 编程，而是反对把思考外包给智能体：

你可以用工具执行你想好的方案，但不能靠它替你思考，否则会得到一堆自己都解释不了的垃圾代码库。

他们公司的面试方式很有意思：让候选人随便用 AI，但会追问每一个设计决策——为什么这样建、权衡了什么。

如果答案是Claude 写的，那就麻烦了。

本集带走

• 企业自训模型的核心价值不是防实验室使坏，而是拿到成本、延迟和领域优化的控制权。
• 强化学习是爬山机器，最难的是定义山——评测体系是企业最该建、也最该保密的资产。
• 数据越分布外，后训练的能力提升越明显；大部分公司目前是在优化性价比而非能力。
• 后训练做得最深的人会赢下推理市场，因为训练和推理可以协同优化。
• 用 AI 工具没问题，但不能把思考外包给它——面试时要能解释每一个设计决策。

但我确实认为，拥有自己的智能这个理念真正的核心在于灵活性和控制权。
But I do think the idea of owning your intelligence really is about flexibility and control.
—— Yash · [02:58]

我们的总体看法是，你的数据越偏离分布，后训练就越有可能真正给你带来那种能力提升。
Our general take has been like the more out of distribution your data is, the more likely that post training is actually going to give you that capabilities lift.
—— Yash · [08:30]

那实际上将会是大多数企业把他们的判断专长固化的方式——基本上就是模型用得越多，它就变得越好。
That is actually going to be how most enterprises codify their judgment expertise by basically the more they use the model, the better that it gets.
—— Yash · [10:04]

阻碍持续学习的，基本上就是从稀疏奖励中做到极其省数据的训练，这是一个未解决的问题。
What’s blocking continual learning is basically, like, extremely data-efficient training from sparse rewards, which is an unsolved problem.
—— Yash · [13:36]

是的，我非常有信心，未来看起来像一组非静态的权重。
Yeah, I think we are pretty confident that the future looks like a non-static set of weights.
—— Yash · [14:59]

Satya 公开说过，世界上有多少家公司，就应该有多少个模型。
Satya came out and said that there should be as many models in the world as there are firms in the world.
—— 嘉宾 · [19:48]

如果每个人都用同样的模型，那么伟大的模型为大家设定了下限，但接下来你如何去优化那些模型并构建真正出色的 AI 系统，那才是设定上限的东西。
If everybody is using the same model, like great models sort of set the floor for everybody, but then how you go and optimize those models and build really amazing AI systems, that’s what’s going to set the ceiling.
—— Yash · [20:51]

不，我觉得我们在 RL 上真正拥有的，本质上是一台爬山机器。
No, I think it’s actually what we have with RL is we essentially have a hill climbing machine.
—— Yash · [25:30]

特定于你的业务运作方式的东西，并且你想让你的模型在这上面变得非常强，那么不告诉其他所有人好和坏长什么样，其实是对你有利的，这样别人就无法把他们的东西在那方面做得非常强。
Particular to how your business operates and you want to make your models really good at that, it’s actually to your advantage not to tell everybody else what good and bad looks like so people can go and make their things really good at that.
—— Yash · [26:03]

但实际上，推理才是大部分价值捕获发生的地方。
But really, inference is actually where most of the value capture happens.
—— Yash · [27:39]

所以我们的观点是，后训练实际上赢得推理。
And so what our view is is that the most post-training actually wins inference.
—— Yash · [29:24]

后训练是这个技术栈里被严重忽视的一部分。
Hey, post-training is a massively underlooked part of the stack.
—— Yash · [36:10]

前沿模型很了不起，但我没想到人们会如此在意真正地把成本优化好，为正确的任务使用正确的模型。
Frontier models are amazing, but I didn’t expect how much people would care about really cost-optimizing and using the right model for the right task.
—— Yash · [43:57]

把框架和设计搞对，比任何实际的编码都重要得多。
It’s much more important to get the frameworks and design right than any of the actual coding.
—— Yash · [48:45]

你不能把自己的思考委托出去、把它当作拐杖，因为那样你会得到这些庞大的、你根本解释不了的垃圾代码库。
You can’t delegate your thinking away and basically rely on it as a crutch because then you get these massive slop code bases that you can’t actually explain.
—— Yash · [48:59]

所以对数据公司来说，我认为最需要擅长的事情就是转型，也就是从一个范式转到下一个范式。
So for data companies, I think the main thing to get really good at is pivoting, like going from each paradigm to the next.
—— Yash · [51:43]