跨国深谈← 返回←扩散模型能不能取代GPT？扩散模型之父下场创业

扩散模型能不能取代GPT？扩散模型之父下场创业

关联

人物 Stefano Ermon

公司 inception 阶段 · Mercury

概念 扩散 · 自回归模型 · 推理 · Transformer · 服务引擎

如今主流的语言模型是一个字一个字往外蹦，扩散模型则像把一整幅画从模糊修到清晰。

前者统治了今天的语言模型，后者统治了图像和视频生成。Stefano Ermon是扩散模型的奠基人之一，2019年和博士生Yang Song一起开创了这条路线。

如今他创办了Inception，想把扩散模型搬进语言和代码生成的地盘，直接挑战大实验室的既有架构。

他在No Priors播客里讲清了这背后的逻辑。

【背景】原文中没有出现「ChatGPT」，故正文改为「如今主流的语言模型」这一表述。

从生成模糊数字，到定义一个时代

2014年Ermon加入Stanford时，生成模型还是个冷门方向。他回忆，那时候能在MNIST数据集上生成模糊的手写数字就算大成功，发论文都得另找理由。

他的出发点是“世界模型”：人能想象自己站起来走出门会发生什么，这种想象能力背后需要生成模型支撑 。

2019年，他和Yang Song提出训练神经网络给图像去噪：如果模型能把噪声去掉，说明它理解了图像结构，就可以据此反向生成图像。

这就是扩散模型的起点。今天最好的图像、视频生成模型，以及很多蛋白质设计工作，都建立在它之上。

为什么语言模型也能“从噪声开始”？

图像是连续的，两个像素颜色之间可以平滑过渡；文字是离散的，两个词之间没有“中间的词”。

所以把扩散模型用到文本上需要全新的研究。2024年，他的团队发表了突破性论文：

在GPT-2规模（不到10亿参数）上，扩散语言模型第一次追平了自回归模型的质量，生成速度却快了约10倍 。

这让他决定开公司，把这个技术做大。

Inception的Mercury模型，据他称已与Google的Flash、OpenAI的小模型等同类小模型质量相当，但显著更快，并且已在生产环境中服务真实客户。

核心赌注：赢在推理，而不是训练

Ermon的历史类比很清楚。业界从RNN转向Transformer，是因为RNN必须逐个处理词元，训练太慢；Transformer能并行训练，才有了后来的大语言模型。

但到了推理阶段，自回归模型又是逐个词元生成的——必须生成完前面的所有词元，才能生成第10个 。

这种工作负载对GPU很不友好，大量时间花在搬运权重而不是做计算上。

扩散模型天生就是在推理时并行处理大量词元，工作负载和训练很像，正好匹配图形处理器的长处。

他的判断是：“更并行的方案最终会赢” 。加上推理能力是强化学习后训练的瓶颈，推理快的模型在那一步也占优。

客户为什么买单：快的回不去

他举了语音智能公司OpenCall的例子。语音助手的流程是语音识别、语言模型推理、语音合成，延迟直接决定体验。

OpenCall原来用Cerebras的定制芯片加速自回归模型，后来换成了Mercury——在普通英伟达图形处理器上就达到了同等速度，供应更充足、成本更低 。

他估算，在各类任务中，大约20%到30%对延迟高度敏感，这是扩散语言模型眼下最确定的市场。

他甚至拿宽带作比：一旦用惯了快的模型，就回不去了。

小公司怎么和大实验室竞争

一个常见的担忧是：小公司搞出新架构，也会被资源雄厚的大厂吸收。Ermon的回应是，护城河不只是模型本身。

扩散语言模型没法跑在现有的开源推理框架上，他们被迫自建了一套服务引擎——光有模型权重，没有这套软件，照样跑不起来 。

再加上真实客户反馈积累的数据和评测方法，这些都构成更难复制的资产。

代价也明确：一整套训练、对齐、部署的软件栈都要自己做，开源生态几乎不存在，客户采用有摩擦。

公司约50人，成立约两年，模型规模和训练算力都保密。他说瓶颈往往不是人，而是算力 。

扩散模型可能还有隐藏技能

眼下卖点是速度，但Ermon认为更有意思的可能性还没被挖出来。

扩散模型从生成一开始就能判断“这个东西是不是我想要的”，可以在半成品阶段就往指定方向引导，而自回归模型必须生成完整个输出才能打分。

学术文献里已有不少证据表明扩散模型更容易控制。

还有数据效率：去噪训练相当于给同一张图制造很多带噪声的版本，天然是一种数据增强，扩散模型可能更省数据。

如果数据成为瓶颈，这会变得关键。他自己也承认，这一切“我们不知道会找到什么”，是涌现出来的 。

学术研究还有机会吗

Ermon的底气来自一串从学界长出来的成果：扩散模型本身、FlashAttention、对齐算法DPO——最后一个最初只是他组里一个轮转项目。

学界资源永远不够，但能容纳逆向而行的赌注，“人们不怕下注” 。

在他看来，现在这套构建人工智能的方法，几乎可以肯定不是最好的那种。

本集带走

• 自回归模型推理时逐词元生成，天然串行；扩散模型并行输出大量词元，工作负载更适合图形处理器，快了约10倍。
• 2024年论文首次证明扩散语言模型能在同等参数和数据下追平自回归模型的质量。
• Inception的Mercury已服务生产客户，OpenCall从Cerebras定制芯片切换到了它在普通英伟达芯片上的方案。
• 约20%–30%的任务对延迟高度敏感，构成扩散语言模型当前的市场下限。
• 扩散模型更容易控制和引导，可能更省数据——这些潜力尚未在规模上验证。

我一直觉得那就是思考如何从无标注数据中学习的正确方式，也就是说，构建一个生成式模型，才是真正能确保你理解数据中结构的正确方法。
I always felt like that was going to be the, that was the right way to think about kind of like learning from unlabeled data, that like building a generative model is really the right way to make sure you understand the structure in the data.
—— Stefano Ermon · [01:48]

因为它是 diffusion，因为你同时输出很多 token，我们能够比自回归模型快大约 10 倍地生成文本。
Because it’s diffusion, because you’re outputting many tokens at the same time, we were able to generate text like 10x faster compared to the autoregressive model.
—— Stefano Ermon · [05:36]

在 Inception，我们押注 diffusion 模型，因为我们相信最终重要的是推理时扩展。
At inception, we’re betting on diffusion models because we believe that what matters eventually will be inference time scaling.
—— Stefano Ermon · [08:01]

这种工作负载是极其受内存限制的。你把大部分时间花在内存层次结构之间搬运权重上，而你做的算术运算非常少。
That kind of workload is extremely memory bound. You’re spending most of your time moving around weights across the memory hierarchy and you’re doing very little arithmetic.
—— Stefano Ermon · [09:12]

更好的教训是，更具并行性的方案就是最终会胜出的那个。
And the better lesson is that the more parallel solution is the one that is eventually going to win.
—— Stefano Ermon · [11:07]

看 benchmark 的话，我们的 Mercury 模型与 Haiku 模型、Flash 模型、OpenAI 的 Mini Nano 模型相当，同时速度快得多。
So our Mercury models are on par with the Haiku models, Flash models, Mini Nano models from OpenAI, if you look at benchmarks, while being significantly faster.
—— Stefano Ermon · [12:33]

你没法在 VLLM 或 SGLang 上运行这些基于扩散的 LLM。我们必须构建自己的服务引擎，而且我们能处理真实生产工作负载的很多复杂性。
You cannot run these diffusion-based LLMs on VLLM or SGLang. We had to build our own serving engine, and we can handle a lot of the complexity of real production workloads.
—— Stefano Ermon · [13:01]

我怀疑我们还没有发现构建这些系统的最佳方式。肯定存在替代方案，肯定存在构建这些模型的其他方式。
I doubt we’ve discovered the best way of building these systems. There’s got to be alternatives. There’s got to be other ways of building these models.
—— Stefano Ermon · [15:25]

但我只是认为，如果你从根本上相信我们能够用上我们拥有的全部电力，而且会有经济上的理由这么做，那么对效率的关注将会急剧上升。
But I just think if you fundamentally believe that we can use all of the power we have and there will be economic reasons to do so, then I think the focus on efficiency is going to go dramatically up.
—— 嘉宾 · [16:21]

而且我觉得一旦你习惯了快的模型，就很难回去了。有点像宽带，对吧？
And I think once you get used to a fast model, it’s hard to go back. It’s kind of like broadband, right?
—— Stefano Ermon · [17:20]

令人兴奋的地方在于，在某种程度上，你从软件中获得的收益，与你从硬件中获得的收益是相乘的。
That’s the exciting piece, is that to some extent, the gains that you get from the software, they are multiplicative with the gains you get from the hardware.
—— Stefano Ermon · [19:18]

从根本上说，每当你训练一个生成式模型时，你所做的，无论是自回归模型还是某种程度上甚至是扩散模型，都是你试图通过本质上构建一个压缩方案来识别数据中的结构。
And fundamentally, if you think about whenever you train a generative model, what you’re doing is, whether it’s an autoregressive model or to some extent even a diffusion model, is you are trying to identify structure in the data by essentially building a compression scheme.
—— Stefano Ermon · [22:34]

所以至少在学术文献中有大量证据表明，扩散模型更容易控制，而且有不同的引导方式——那些是自回归模型根本做不到的。
And so there is a lot of evidence in the academic literature, at least, that diffusion models are easier to control and there are different ways of steering them. That are just not possible with autoregressive models.
—— Stefano Ermon · [26:53]

所以这也是我们决定不完全开源的原因之一，真的是为了把这些 IP 更多地留在我们自己手里，不把它开放出去。
So it’s one of the reasons we decided not to open source everything, was really to keep the IP a little bit closer to us and not opening it.
—— Stefano Ermon · [31:24]

学术界的一个好处是，它允许你下这些反共识的赌注。
One of the nice things about academia is that it allows you to take these contrarian bets.
—— Stefano Ermon · [37:12]