跨国深谈← 返回←自回归模型 (autoregressive)

集里怎么说它

• 《扩散模型能不能取代GPT？扩散模型之父下场创业》(02:59起):本集说自回归模型是今天大实验室押注的主流架构，推理时从左到右一次生成一个 token、天然串行，工作负载受内存限制、与 GPU 不匹配，这是它相比扩散模型的根本短板。

① 提到它的金句

3 条

因为它是 diffusion，因为你同时输出很多 token，我们能够比自回归模型快大约 10 倍地生成文本。
Because it’s diffusion, because you’re outputting many tokens at the same time, we were able to generate text like 10x faster compared to the autoregressive model.
—— Stefano Ermon · [05:36]

指向原始笔记的链接

从根本上说，每当你训练一个生成式模型时，你所做的，无论是自回归模型还是某种程度上甚至是扩散模型，都是你试图通过本质上构建一个压缩方案来识别数据中的结构。
And fundamentally, if you think about whenever you train a generative model, what you’re doing is, whether it’s an autoregressive model or to some extent even a diffusion model, is you are trying to identify structure in the data by essentially building a compression scheme.
—— Stefano Ermon · [22:34]

指向原始笔记的链接

所以至少在学术文献中有大量证据表明，扩散模型更容易控制，而且有不同的引导方式——那些是自回归模型根本做不到的。
And so there is a lot of evidence in the academic literature, at least, that diffusion models are easier to control and there are different ways of steering them. That are just not possible with autoregressive models.
—— Stefano Ermon · [26:53]

指向原始笔记的链接

② 出现在这些集

1 集

• 《扩散模型能不能取代GPT？扩散模型之父下场创业》 — 作为概念

③ 关联

点进去有真内容 —— 本页主要出口

Stefano Ermon · inception 阶段 · Mercury · 扩散 · 推理 · Transformer · 服务引擎 · Cerebras