缩放定律 (scaling laws)
集里怎么说它
- 《Anthropic 联合创始人：安全为什么不是添头，而是 Claude 性格的来源》(01:51起):本集说缩放定律跨越了 15 个数量级依然成立，这在物理学基本定律中都很罕见；虽然需要从普通预训练过渡到强化学习扩展来保持其成立，但它并未放缓。
- 《没有暗GPU:一位基金经理拆解AI泡沫论与棋局》(13:23起):本集说由于缩放定律和《苦涩的教训》，AI 本质上更耗算力，前沿实验室毛利率结构性更低；并把 GPT-5 与缩放定律挂钩的说法斥为疯狂。
- 《让药物研发变成写代码:Chai Discovery 的 AI 分子设计之路》(08:48起):本集把它描述为一种必须去识别的核心原则，只要不断扩展数据和算力并降低损失，模型就能自动学到靶点的内在特征并解锁新目标。
- 《微软 CTO 谈智能体网络：MCP 就像 AI 时代的 HTTP》(01:58起):本集提到去年大家还在怀疑它能否持续有效，但事实证明它依然完好无损并在起作用
- 《AI 如何把工程问题变回资本问题》(60:32起):本集说真正让一位嘉宾改变想法的不是技术突破，而是没预料到「我们可以一直往里砸钱而且缩放定律持续成立」。这意味着以前很多工程上不可解的问题可以被转译成资本问题。
- 《Atlas:让 AI 预测世界的下一个视角》(13:00起):三位嘉宾表达完全信念:每次把模型做大、训练更久、上更多芯片都显著变好;当前瓶颈是训练算力,扩展还在起点
- 《RL 为什么灵、蒸馏为什么凶:三位研究员的前沿圆桌》(12:38起):Charlie 用摩尔定律类比缩放定律靠离散不连续性创新续命；本集还讨论 Kaplan 缩放定律忘了退火校正，以及数据 vs 架构各解释多少算力效率提升。
- 《推理才是赚钱的生意：Positron 联合创始人谈内存墙、缓存暴利与「守住前沿」之争》(05:20起):本集说过去十年证明参数和 flops 越多模型越好，GPT-3 证明堆参数真有用；但它是观察到的「定律」而非数学证明，Thomas 基于它没放缓的迹象看多模型规模继续增长到 50 万亿、100 万亿参数。
- 《黄仁勋：AI 末日论已经喊过头了》(60:08起):本集说『只要投入算力和训练数据模型就会更聪明』的第一条扩展定律并不为真，正是因此出现了第二条——测试时扩展/推理；Klein 以此反驳黄仁勋『实验室预测全都错了』的说法。
- 《OpenRouter 创始人：「套壳论」最愚蠢，代币经济需要新警长》(15:02起):融资时最大质疑的来源(价值会赢者通吃归一家公司);Anjney 却说规模定律恰恰是 OpenRouter 会很值钱的原因——它是特性,不是缺陷。
- 《Runway 创始人:猫视频与理解物理是一回事》(08:31起):本集说 Runway 的思维方法是外推趋势而非看当下结果：Gen2 之粗糙好比『只能生成勉强连贯句子的 GPT-2』，而 PhysicsIQ 等物理基准得分随计算规模扩大可预测地提升。
- 《智能体才是互联网的下一个大客户：Parallel 创始人 Parag Agrawal 谈智能体搜索》(00:04起):本集说目前能感知到的缩放定律似乎没有尽头,前沿模型会越来越大、往同一问题投入更多算力换来边际更好的答案。
- 《内存带宽才是 AI 芯片的下一个战场：Fractile 创始人 Walter 的押注》(29:25起):本集提出带宽也有自己的缩放定律：传统缩放定律是 flop 缩放定律，而扩展落后的内存带宽是全局吞吐的乘数因子。
- 《机器人捡起香蕉当扫帚：Generalist 的物理世界通用智能》(08:42起):Gen 0 的核心成果：在机器人领域验证了数据、算力、模型规模加大时能力可预测地提升，像 GPT-3 之前给语言模型带来的信心。
- 《前沿实验室高管亲口说：AI 有一个我们不该越过的智能上限》(06:04起):本集说缩放定律依然成立、甚至可能因数据质量提升而更优弯曲;同时安全领域也出现一条原初缩放定律。
- 《AI 自己改自己：他们说要分清「真进步」和「砸钱堆出来的进步」》(09:12起):本集提到深度学习没有学习理论,最接近的理论是作为经验定律的 scaling laws。
- 《AlphaGo 幕后团队再出发：这次不学人类，让 AI 自己发现一切》(36:05起):Espeholt 说强化学习的扩展定律因问题非平稳而与 LLM 略有不同，但这是他们正在积极推动的研究方向。
- 《开源模型追得上前沿吗？一位AI研究者拆解谣言与真相》(04:13起):本集的核心判断:所有缩放定律都是算力指数级增长换性能线性提升,实验室花的是指数级的钱,因此前沿拉开的差距有天然上限。
① 提到它的金句
6 条
任何把 GPT-5 和缩放定律联系起来的说法都是疯狂的。
指向原始笔记的链接
Any reference to GPT-5 and scaling laws is crazy.
—— David George · [22:48]
而且，你知道，如果你相信这些缩放定律，智能在变得更好，我会说，每年一个数量级，我是说，10 倍 10 倍 10 倍，三年就是一千倍。
指向原始笔记的链接
And, you know, and the thing, if you believe these scaling laws and intelligence is getting better, I’d say, at one order of magnitude a year, I mean, 10 times 10 times 10, that’s a thousand times in three years.
—— Tony Kim · [26:32]
在我脑子里,规模定律从来都不是缺陷,恰恰是 OpenRouter 会非常有价值的一个特性。
指向原始笔记的链接
The scaling laws were never like, in my mind, were always a feature, not a bug for why OpenRouter would be very valuable.
—— Anjney Midha · [16:33]
目前看来，我们所能感知到的缩放定律似乎没有尽头。
指向原始笔记的链接
It appears there is no end to the scaling law that we can perceive so far.
—— Parag Agrawal · [14:45]
缩放定律依然成立,甚至可能正在朝着有利的方向弯曲,因为数据质量在变好。
指向原始笔记的链接
Scaling laws are holding or maybe even bending because the data quality is getting better.
—— 嘉宾 · [06:04]
我认为我们拥有的最接近理论的东西是缩放定律，而这些是经验性定律。
指向原始笔记的链接
I think the closest things we have are scaling laws, and these are empirical laws.
—— Daval Ajada · [09:12]
② 出现在这些集
18 集
- 《Anthropic 联合创始人：安全为什么不是添头，而是 Claude 性格的来源》 — 作为概念
- 《没有暗GPU:一位基金经理拆解AI泡沫论与棋局》 — 作为概念
- 《让药物研发变成写代码:Chai Discovery 的 AI 分子设计之路》 — 作为概念
- 《微软 CTO 谈智能体网络：MCP 就像 AI 时代的 HTTP》 — 作为概念(提及)
- 《AI 如何把工程问题变回资本问题》 — 作为概念
- 《Atlas:让 AI 预测世界的下一个视角》 — 作为概念
- 《RL 为什么灵、蒸馏为什么凶:三位研究员的前沿圆桌》 — 作为概念
- 《推理才是赚钱的生意：Positron 联合创始人谈内存墙、缓存暴利与「守住前沿」之争》 — 作为概念
- 《黄仁勋：AI 末日论已经喊过头了》 — 作为概念
- 《OpenRouter 创始人：「套壳论」最愚蠢，代币经济需要新警长》 — 作为概念
- 《Runway 创始人:猫视频与理解物理是一回事》 — 作为概念
- 《智能体才是互联网的下一个大客户：Parallel 创始人 Parag Agrawal 谈智能体搜索》 — 作为概念
- 《内存带宽才是 AI 芯片的下一个战场：Fractile 创始人 Walter 的押注》 — 作为概念
- 《机器人捡起香蕉当扫帚：Generalist 的物理世界通用智能》 — 作为概念
- 《前沿实验室高管亲口说：AI 有一个我们不该越过的智能上限》 — 作为概念
- 《AI 自己改自己：他们说要分清「真进步」和「砸钱堆出来的进步」》 — 作为概念(提及)
- 《AlphaGo 幕后团队再出发：这次不学人类，让 AI 自己发现一切》 — 作为概念
- 《开源模型追得上前沿吗？一位AI研究者拆解谣言与真相》 — 作为概念
③ 关联
点进去有真内容 —— 本页主要出口
智能体 · OpenAI · Anthropic · 推理 · NVIDIA · 对齐 · DeepMind · 蒸馏 · 后训练 · Google