跨国深谈← 返回←开源模型追得上前沿吗？一位AI研究者拆解谣言与真相

开源模型追得上前沿吗？一位AI研究者拆解谣言与真相

关联

人物 Leisha Lee · Nathan Lambert

公司 OpenAI · Anthropic · Trillium · Meta · Moonshot AI · Kimi · Cursor · Thinking Machines

概念 开源模型 · 蒸馏 · 前沿模型 · 算力 · 后训练 · 强化学习环境 · RSI · 推理模型 · 微调 · 缩放定律

Nathan Lambert 是新成立的非营利研究实验室 Trillium 的创始人，此前在 AI2 做后训练研究。

在这期 a16z 播客里，他与合伙人 Leisha Lee 聊了一个所有人都关心的问题：OpenAI、Anthropic 这些烧钱巨头领跑的前沿，[[开源模型|开源模型]]到底还追得上吗？

他的答案比公共讨论里的恐慌情绪冷静得多。

前沿靠什么：算力、数据、人才

Lambert 把模型进步归结为三种资本的组合：算力、数据和人才。

闭源前沿实验室在这三项上投入最狠，也最敢在别人觉得不可能的方向上下重注——OpenAI 掀起了推理模型的革命，Anthropic 则靠长期押注编程，等来了 Claude Code 的爆发。

但他特别强调组织本身的重要性。

让公司架构真正服务于造模型这件事非常难，所以才会看到 Meta 这种推倒重来的整体重组，而重组之后确实又回到了上升轨道。

中国公司开源，不是阴谋，是生意

中国实验室的开源策略常被渲染成政府行为，Lambert 直言不是这么回事。如果 Moonshot AI、Jibu 这些公司只在中国卖 API，美国根本没人知道它们是谁。

把模型开源，是进入全球对话的最快捷径。

【背景】Jibu 一般指 Zhipu（智谱 AI），原文转写稿中写作”Jibu”。

在他看来，这会催生一个分层市场：

最好的闭源模型拿最高的利润率，紧随其后的近前沿模型是开源的，因为总有企业想要私有数据、自有硬件上的部署，这些需求闭源 API 满足不了。

蒸馏被夸大了：中国团队是真的强

开源模型全靠蒸馏闭源模型是流传最广的说法。蒸馏的意思是拿一个强模型的输出去训练自己的模型，等于用钱换算力。

Lambert 承认中国实验室缺算力——他听说 OpenAI 研究员平均能随时调用 5000 块 H100 等效算力，一位中国顶级预训练研究者听完后下巴都掉下来了。

但人才上，他说想把中国说得不如美国，很难站得住脚，因为中国有大量高水平训练出来的人。

而按公开文献看，现在的推理模型后训练里，蒸馏其实很难起大作用：

开源社区自己试过用顶级模型的推理轨迹做训练，效果并不好，连教师模型都对不上。

当然他也留了问号：中国存在大量调用 Claude 的中间代理，Kimi 甚至被发现在产品里直接给用户返回 Claude 的输出。

这些到底怎么用进训练，还需要更多公开研究才能回答。

他的估算是蒸馏大概帮中国公司省了几个月，而不是决定性的差距。

至于该不该管，他引用了 Jensen 的话：「人们每天都在蒸馏我的产品……这叫竞争。」

他认为靠国会立法管不了，而且中美在 AI 安全上本来就需要对话，在蒸馏问题上出手只会弊大于利。

开源走得慢，但尽头是真正的所有权

闭源实验室的优势是整合：模型、推理服务、营收、融资转成一个飞轮，市场最先到、利润率最高。

开源这边链条更长——做模型的、做推理服务的、做后训练的公司彼此分离，客户信息传不回模型构建者手里，所以慢。

但走完全程的企业拿到的是模型权重的真正所有权：没有条款限制，跑在自己的硬件上，算得清回报。

他认为开源经济要花更长时间建，但不容易是泡沫。

一个佐证：Cursor 发过实验，重写 SQLite 的长任务里，用开源微调模型的成本远低于两个前沿模型组合，效果相当。

买数据、建环境，才是现在最大的杠杆

Lambert 判断，前沿进步很大程度来自花钱买高质量数据、给模型搭可以行动的环境。数学和编程是可验证的领域，模型进步飞快；

而生物、法律、知识工作这些不可完全验证的领域，要靠一个行业一个行业地买数据、定义行为，这会持续很多年，也是资本最密集的地方。

这个市场还很粗糙：数据公司大量采购、批量试错，质量参差，甚至催生了奖励作弊——模型聪明到会钻环境的空子刷高分。

他认为数据行业有大量低垂的果实，要几年时间才会把赢家筛出来。

Trillium 要做的之一，就是把高杠杆任务的开源环境公开出来。

做一套环境要几千到几万美元，而利润动机让几乎没人愿意免费发布。

但这些公开资源正是博士生和研究者做研究的地基。

用AI做AI研究，别神化它

对递归自我改进（RSI）的恐慌，Lambert 的回应是把它晒出来。

Trillium 计划完整记录：实验室用什么工具、什么任务、模型卡在哪里、代码里写了什么 bug，每半年更新一次。

让政策制定者亲眼看到 AI 自动化的真实形态，而不是听神秘的传说。

他的核心判断：所有扩展定律都是算力指数级增长换性能线性提升，实验室花的是指数级的钱才维持住现在的进步速度。

他引用 Claude 系统卡的说法——要出现快速起飞，还需要再多一个数量级的进展。

数学可能是最适配这种智能形态的领域，但「Claude 不会自己告诉自己怎么做出更好的 PPT」。

真正让他担心的不是前沿藏着秘密，而是能力在涨、社会几乎没做准备——公共网络安全等领域的准备基本不存在。

闭源实验室先到，开源随后跟到，很多问题正在扩散的路上。他呼吁更多眼睛、更多公开科学，让社会在知情的状态下做准备。

本集带走

• 前沿优势=算力+数据+人才+敢下重注的组织，开源想追，短期看齐的是近前沿这一层。
• 蒸馏被严重夸大：公开文献显示它对当今推理模型的后训练帮助有限，中国团队的技术实力是真实的，差距主要在算力。
• 开源生态走得慢，是因为链条分散、信息回流差，但终点的所有权（权重、硬件、回报）对企业有真实价值。
• 前沿进步越来越靠买数据和搭强化学习环境，这个行业还早，质量参差，会持续多年洗牌。
• 别神化 AI 自我改进：算力换性能仍是指数换线性，真正缺的是社会层面的准备，而不是更多的神秘感。

人们每天都在蒸馏我的产品。他们拿走它，把它拆解成原始部件，这就叫竞争。
People distill my products every single day. They take it, they strip it down to its raw parts, and that’s called competition.
—— 嘉宾 · [00:21]

如果有人想去 AI 的前沿工作，我大多会告诉他们去 Anthropic 和 OpenAI，这是最容易下的注。
If somebody wants to work at the frontier of AI, I mostly tell them to work at Anthropic and OpenAI, which is the easiest bet.
—— Nathan Lambert · [03:50]

要说中国在人才上不如人，你会很难站住脚，因为他们有太多人正在如此高的水平上接受训练。
To say that China is anything but equal in talent, you’re gonna have a hard time because they just have so many people being trained at such a high level.
—— Nathan Lambert · [09:28]

蒸馏是一种有效地花更多钱来换取算力等价物的方式。
Distillation is a way to effectively spend more money to get what is compute equivalent.
—— Nathan Lambert · [10:00]

中国人在构建模型方面也非常强。我觉得存在一点自我安慰，人们说只有我们擅长构建模型。
The Chinese are so good at building models as well. I think there’s a bit of cope where people are like, only we are good at building models.
—— Nathan Lambert · [13:31]

我只是认为，如果你对蒸馏做任何事情，造成的伤害会大于好处，因为他们不会停止。
I just think you’re going to cause more harm than good if you do anything about distillation, because they’re not going to stop.
—— Nathan Lambert · [16:30]

我们在编程领域见过这一点，这是今年的故事，收入从零直接到了 1000 亿，而且很可能继续增长。
We have seen this with coding and this has been the story of the year where the revenue has just gone zero, 100 billion and likely to grow.
—— Nathan Lambert · [20:02]

在这个过程的最后，他们拥有真正的所有权，也就是模型权重。
At the end of this process, they have real ownership, which is model weights.
—— Nathan Lambert · [21:28]

这些实验室在信息方面的安全性没有他们想的那么高。
The security at these labs in terms of information is not as high as they think.
—— Nathan Lambert · [52:49]