跨国深谈← 返回←蒸馏 (distillation)

集里怎么说它

• 《Mustafa Suleiman:数据是新的护城河——AI 创业者的机会地图》(12:42起):用大模型生成训练数据、尽可能吸收其最好的部分，再用于后训练和对齐更小的模型。
• 《Hugging Face CEO：开源 AI 更安全，下一阶段属于模型路由》(00:00起):本集针对 Anthropic 指控阿里蒸馏攻击,说蒸馏是人人都在用的常见做法、只是加速器——「如果你很烂,不管有没有蒸馏你都很烂」,不决定训练模型的好坏。
• 《Kimi K3 冲击波:开源逼近前沿,格局要变》(05:20起):本集深度探讨的争议话题：用大模型生成的输出（推理痕迹）来训练另一个模型。嘉宾指出当前存在不对称且糟糕的现状——中国模型可自由蒸馏美国模型，而美国本土公司却受制于模糊的法律边界。
• 《AI 繁荣若崩塌:数据中心债务、AGI 囤积与市场清算》(24:26起):本集把它说成:一种窃取模型能力的手段(用大模型输出去训练小模型);如果前沿实验室真信赢者通吃,逻辑上就该切断 API 专有化模型以防被蒸馏。
• 《Ben Horowitz 谈开源 AI 保卫战:没有垄断,才有安全》(10:21起):本集将这一技术定义为「非偷窃」：由于 AI 输出不受版权法保护，利用大模型生成的数据来训练更小开源模型是合法且对世界有益的。
• 《Jeff Dean 谈 AI 原生时代的创业经：找零个正确的甜点》(48:04起):本集把它说成：用大教师模型训练一个更小、计算成本更低、参数更少但能力极强的模型；Jeff 和 Hinton 2014 年的相关论文虽被 NeurIPS 以「不太可能有重大影响」拒稿，但后来成为 Gemini Flash 模型的技术基础。
• 《不靠一个模型打天下:多模型路由的早期探索与实战权衡》(21:22起):NVIDIA 的 FlexTron 技术采用的方法:将一个大模型蒸馏成不同大小、不同占用空间的版本,以便根据当前任务的复杂度进行动态切换。
• 《Lindy 创始人谈 AI 员工的上下文战争：从红黑树到”走去洗车”》(102:36起):Flo 指责中国模型通过蒸馏获得不公平竞争优势：在人类数据上训练花几十亿美元，在 AI 数据上蒸馏最多花几亿
• 《用物理设计新材料：Max Welling 的 AI for Science 双向之路》(29:01起):本集说蒸馏是把大模型蒸馏成小模型的过程，在材料 AI 中就是从广泛的基础模型出发，针对特定材料类别微调出一个更小、更快、更专用的力场模型
• 《开源权重不是威胁：Box CEO 聊 AI 的经济账》(00:08起):本集用蒸馏指用大模型输出去训练另一个模型；嘉宾认为很难划出「正常经济活动」与「违法」之间的线——模型可以在公共互联网上训练，却不可以用其他模型的输出训练，这个论证站不住脚。
• 《从 Hugging Face 到中国药企：NVIDIA 的开源终局与 AI 制药的未来》(14:14起):本集说蒸馏无法被阻止，只能被追踪和封锁地址；中国实验室对美国前沿模型蒸馏后开源，硅谷垂直公司再微调，一项技术跨太平洋两次

① 提到它的金句

3 条

就像如果你很烂，不管有没有蒸馏你都很烂。
Like if you suck, you suck with or without distillation.
—— Clement DeLong · [21:22]

指向原始笔记的链接

Anthropic 从蒸馏中赚到的钱，比大多数人从原始训练运行中赚到的钱都多。
Anthropic is getting paid more for distillation than most people have ever gotten paid for the original trading run.
—— Aaron Levie · [05:08]

指向原始笔记的链接

我实际上认为这是把他们的工作蒸馏成了他们最擅长于世、最感兴趣的那件事，而围绕核心工作的一切行政事务现在都由别人替他们处理了。
So, I actually think that this is a distillation of their job into the thing that they’re the best in the world at, that they’re the most interested in, and all the administration that goes around doing that core work is now handled for them.
—— Anish Acharya · [16:37]

指向原始笔记的链接

② 出现在这些集

11 集

• 《Mustafa Suleiman:数据是新的护城河——AI 创业者的机会地图》 — 作为概念
• 《Hugging Face CEO：开源 AI 更安全，下一阶段属于模型路由》 — 作为概念
• 《Kimi K3 冲击波:开源逼近前沿,格局要变》 — 作为概念
• 《AI 繁荣若崩塌:数据中心债务、AGI 囤积与市场清算》 — 作为概念(提及)
• 《Ben Horowitz 谈开源 AI 保卫战:没有垄断,才有安全》 — 作为概念
• 《Jeff Dean 谈 AI 原生时代的创业经：找零个正确的甜点》 — 作为概念
• 《不靠一个模型打天下:多模型路由的早期探索与实战权衡》 — 作为概念
• 《Lindy 创始人谈 AI 员工的上下文战争：从红黑树到”走去洗车”》 — 作为概念(提及)
• 《用物理设计新材料：Max Welling 的 AI for Science 双向之路》 — 作为概念
• 《开源权重不是威胁：Box CEO 聊 AI 的经济账》 — 作为概念
• 《从 Hugging Face 到中国药企：NVIDIA 的开源终局与 AI 制药的未来》 — 作为概念

③ 关联

点进去有真内容 —— 本页主要出口

OpenAI · Anthropic · 智能体 · 推理 · Hugging Face · NVIDIA · 微调 · 开源 · Theo Jaffe · 前沿模型