Transformer
集里怎么说它
- 《Mustafa Suleiman:数据是新的护城河——AI 创业者的机会地图》(08:47起):2017 年提出、驱动这场深度学习革命的架构，如今正被变成软件开发生态里的可组合单元。
- 《Transformer 已见顶?OpenAI 与 Google 双雄离职造新架构》(01:55起):本集说它的天花板（见顶）在于无法持续学习：在实验室用静态数据训练，一旦部署到动态现实世界很快就会贬值；同时其计算深度极差，采用一次生成一个 token 的方式极其低效。
- 《给 AI 装上「自我怀疑」：剑桥教授 30 年的不确定性智能之路》(11:16起):本集顺带提到 Transformer 是现代 AI 的两个主力架构之一（另一个是扩散模型），但未展开讨论
- 《Arm CEO 谈芯片、AI 与下一个十年的算力格局》(12:59起):本集提到:只要 Transformer 仍是计算密集、存储密集的架构,供应链受限环境就会持续三到五年。
- 《Transformer 不满十岁：AI 集中不是宿命》(00:55起):《Attention is All You Need》引入的基础架构,喂整个互联网时相当聪明,但只学一件具体的事就很差,且架构上需要大量资源,导致了当前 AI 的集中化
- 《把 100 万 token 用出 5 万的体验：SubQuadratic 的稀疏注意力》(00:00起):本集把它描述为注意力平方成本问题的载体,也是 SubQuadratic 想最终完全取代的对象——目标是把算法范式更替从每九年一次压到每 12 个月一次。
- 《斯坦福语言学家的代币经济学：你的 token 贬值了》(14:28起):2017 年的架构经位置编码、稀疏 MLP、激活函数等大量改造演化至今；Chris 认为堆叠 Transformer 极其低效，深度没有被用来学递归函数
- 《扩散模型能不能取代GPT？扩散模型之父下场创业》(05:20起):本集说 2017 年业界从 RNN 转向 Transformer 是因为后者能并行处理 token、训练扩展性更好；Ermon 把扩散模型类比为推理阶段的 Transformer 式转折，且他们的模型仍基于 Transformer 架构。
- 《投资Hugging Face的人怎么看AI创业》(14:07起):本集说 Transformer 擅长下一 token 预测;Hugging Face 在它问世后迅速转成 PyTorch 开源而走红,Matt 还沿「还有什么序列值得预测」这条线看好奇器人和科学模型。
① 提到它的金句
5 条
如果 Transformer 是有利可图的,如果你可以花费更多的努力和资源来扩大 Transformer 以在下一个季度获胜,那么很难把大量的注意力和精力投入到可能在一两年内更好或重新定义该领域的事情上。
指向原始笔记的链接
If Transformer is profitable and if you can spend more efforts and more resources scaling Transformer to win in the next quarter, it’s very hard to put at least a lot of attention and a lot of energy to work on something that will maybe better or maybe will redefine the field in a year or two.
—— Jerry Tworek · [13:28]
目前的机制相当糟糕,如果你把它留给世界,我恐怕我们会花更长的时间才能替换 Transformer。
指向原始笔记的链接
The current mechanisms are quite poor and it will if if you leave it to the world I am afraid that it will take us like a much longer time horizon before we replace the transformer
—— 嘉宾 · [18:15]
所有这些建立在对数据和学习直觉之上的分析工作,造就了我们如今拥有的模型——相比 2017 年的 Transformer,它就像一艘忒修斯之船。
指向原始笔记的链接
All of this analysis work built on intuitions about data and learning led to the model that we have now, which is like a ship of Theseus compared to the 2017 Transformer.
—— Chris Potts · [15:29]
只要我们还在使用基于 transformer 的 LLM，这就是它们工作原理的数学本质，使用更少的上下文你就会得到更好的质量。
指向原始笔记的链接
As long as we’re using transformer-based LLMs, that’s just like the math of how they work, and you will get better quality if you use less context.
—— Dex Horthy · [52:08]
所以我想说,NVIDIA GPU 在 transformer 模型的实际解码前向传递中,平均只获得 30% 到 40% 的内存带宽利用率。
指向原始笔记的链接
So while NVIDIA GPUs, I would say, on average are getting between 30 and 40 percent memory bandwidth utilization in the actual decode forward pass of a transformer model
—— Thomas Somers · [34:12]
② 出现在这些集
10 集
- 《Mustafa Suleiman:数据是新的护城河——AI 创业者的机会地图》 — 作为概念(提及)
- 《Clio 的 AI 赌注：从扑克到财务健康》 — 作为概念(提及)
- 《Transformer 已见顶?OpenAI 与 Google 双雄离职造新架构》 — 作为概念
- 《给 AI 装上「自我怀疑」：剑桥教授 30 年的不确定性智能之路》 — 作为概念(提及)
- 《Arm CEO 谈芯片、AI 与下一个十年的算力格局》 — 作为概念(提及)
- 《Transformer 不满十岁：AI 集中不是宿命》 — 作为概念
- 《把 100 万 token 用出 5 万的体验：SubQuadratic 的稀疏注意力》 — 作为概念
- 《斯坦福语言学家的代币经济学：你的 token 贬值了》 — 作为概念
- 《扩散模型能不能取代GPT？扩散模型之父下场创业》 — 作为概念
- 《投资Hugging Face的人怎么看AI创业》 — 作为概念
③ 关联
点进去有真内容 —— 本页主要出口
智能体 · OpenAI · Anthropic · 推理 · Copilot · LLM · 预训练 · Claude Code · AGI · 强化学习