GPU
集里怎么说它
- 《AI 教母李飞飞:从 ImageNet 到空间智能》(19:20起):本集说它最初是游戏玩家用的显卡,后来被发现极其擅长做相关的数学运算,在 2012 年配合大数据与神经网络算法取得了突破,是现代 AI 黄金配方的三要素之一。
- 《只在美国才能发生的故事:黄仁勋与 NVIDIA》(28:16起):本集把它说成：为并行模拟（如图形、大脑思考）而设计的处理器；它具有指令集且可编程，最终成为了今天 AI 计算的基石。
- 《没有暗GPU:一位基金经理拆解AI泡沫论与棋局》(08:05起):本集以「没有暗着的 GPU」作为非泡沫的核心判据：对比 2000 年 97% 暗光纤，今天 GPU 在训练中被「跑融化」，且最大买家的 ROIC 提升了约 10 个百分点。
- 《OpenAI 工业算力负责人：把电子变成 token 的巨兽工厂》(36:54起):本集在解释 MRC 时以十万块 GPU 集群为例，说明大规模训练中 GPU 需持续互通信。
- 《「智能是数据的派生物」：Fireworks 创始人 Lin Kuo 的专用智能宣言》(34:04起):本集提到 GPU 与内存等底层基础设施处于严峻供应链约束之下、未来两三年会缓解，也是 Fireworks 分布式 RL 系统利用分散 GPU 的基础。
- 《Mayfield 管理合伙人 Navin:AI 投资的泡沫数学与蓝海打法》(43:52起):本集说 GPU 和 AI 加速器已经存在但连接它们是巨大瓶颈，铜线无法超过一米，需要光通信连接；模型公司大部分资金花在 GPU 上
- 《Tether 做本地 AI：数据中心造太多了》(21:38起):本集反复讨论消费级 GPU——QVAC 让推理和微调能跑在 Snapdragon GPU、Adreno GPU、Apple GPU 等所有消费级 GPU 上，Apple 每年出新 GPU 跑 Llama 速度翻倍
- 《AI 投资泡沫的崩盘剧本:为什么万亿美元建数据中心注定亏钱》(14:39起):本集把它说成：寿命极大取决于历史用途，用于训练的芯片（相当于 72 小时拉力赛跑出的车）故障率远高于只做推理的芯片（周日去教堂跑出的车），用平均寿命算账会严重失真。
- 《AppLovin 双人谈：百人工程团队如何撑起千亿公司》(16:50起):本集说神经网络由大量标准矩阵乘法(GEMM)构成,正是 GPU 高度优化的操作,因此新模型推理更便宜;而老的选择树在 GPU 上几乎没法优化。
- 《Martin Casado：AI 时代，钱比以前好使了》(14:40起):本集说现在工程很多归结为能否筹集资本来购买 GPU 以做想做的事；也提到用 AI 创建更快的 GPU 内核作为自催化效应的例子
- 《Insight 创始人 Jerry Murdock：AI 泡沫何时破裂，谁会死掉》(28:23起):本集说做大量模型专业化不需要 GPU，太贵了，可以用 ASIC 芯片替代
- 《把 token 压到最便宜：一家「代币工厂」的算力拾荒术》(02:50起):本集说 GPU 本质是吞吐量机器，在大批量工作时最高效，与聊天机器人要的低延迟存在根本性权衡；还谈了 GPU 大量闲置在私有池里的浪费。
- 《Ed Zitron：生成式 AI 是一场万亿级骗局》(14:58起):本集反复讨论，说它是 AI 专用芯片，比普通 CPU 大得多、耗能多得多，Stargate Abilene 每栋楼 5 万个；买 GPU 成了大公司’踢罐子’让市场觉得还在增长的方式。
- 《NVIDIA 布局全栈、OpenAI 被迫上市与 AI 资本的”第五名效应”》(07:03起):本集说 Poolside’无法筹集 20 亿美元来购买 4 万块 GPU’，NVIDIA 因为’我们制造 GPU’所以能搞到 GPU，GPU 是前沿模型竞争的核心资源
- 《RL环境的供应链黑箱与模型的分工时代》(71:36起):本集讨论了 GPU 使用异常是否是发现流氓智能体的信号——Nathan 认为真正的信号是触手伸向开放互联网，而不是 GPU 使用异常。
- 《Ollama CEO：开源模型正吃掉企业 80-90% 的 token》(27:22起):本集谈 GPU 市场价格波动剧烈、B200/B300 一卡难求,Ollama 靠与多家提供商汇集 GPU 容量才跟得上需求。
- 《每块 GPU 多付 10 万美元插队：Speechify 创始人的算力账与战略悔棋》(03:48起):本集主线：租一年 H100 的钱是买价的 1.5 倍，确定性负载应直接买断；训练用最新芯片、推理可降级用老款（还在用 K80），芯片不似汽车有磨损，多余容量可转租，几乎不亏。
- 《Transformer 不满十岁：AI 集中不是宿命》(03:44起):嘉宾买了块 5090 RTX GPU,算力超过当年团队做 transformer 研究用的八台 8GPU 机器,说明个人做机器学习研究的门槛已极低
- 《推理已成一个分布式系统问题:Meta 讲透大规模推理的编排之道》(04:42起):本集说推理必须跑 GPU——比 CPU 贵 100 倍、获取慢 10 倍,不能随意超额配置,且 GPU 故障会通过反馈循环引发级联失败
- 《GPU 之后是什么：内存短缺、光子学与摩尔定律的尽头》(00:50起):本集以’GPU 之后会是什么’为主线：GPU 擅长训练，瓶颈已转移到推理层；光子学等新技术正在围绕 GPU 重新组织数据中心架构。
- 《铜线到头了：光子学如何接住 AI 数据中心》(04:24起):本集说模型已经大到装不进单个 GPU,必须把成百上千块 GPU 互连起来跑;今天的 AI 工厂一半是 GPU,另一半是互连这些 GPU 的技术。
- 《卖数据中心、卖 GPU、再卖 token:Crusoe 的 AI 算力生意经》(00:32起):本集说 GPU 是整个数据中心里最贵的东西,闲置就是烧钱;GPU 租赁协议通常是照付不议,且当下托管 GPU 集群因供应短缺利润率最高。
- 《让 AI 在沙盒里撒野：一场关于沙盒的夺旗游戏》(53:35起):本集答疑中听众想把代码分发到分布式 GPU 上算，Matt 直说 E2B 目前不支持 GPU，他们用 VM，GPU 场景下沙箱方案可能不合适。
- 《在浏览器里跑大模型：DeepMind 带来的开源新玩具》(09:46起):本集说 Gemma 4 不需要大片 GPU 占用，真正的设计意图是在单个消费级 GPU 上运行得超级好，12B 及以下版本甚至可以在笔记本上本地运行。
- 《让小模型先猜，大模型来批：推理加速值不值？》(03:00起):本集说启用投机解码的前提是 GPU 有空闲算力：高并发下 GPU 已忙不过来就不适合；演示在一块 Blackwell GPU 上同时跑基线和投机解码两套服务
- 《造芯片、建电厂、照镜子：Google AI 基础设施掌门人谈前沿计算的物理极限》(22:38起):本集说 GPU 比 TPU 更通用，Google 内部使用也对外销售大量 GPU，客户按工作负载在两者间评估选择
- 《每家公司都该有自己的AI模型吗？》(36:14起):本集说 GPU 利用率其实很低、算力处于供应紧缺,真正难的是容量——你得真的有 GPU,规模上去后省下的 1% 会累积成真金白银。
- 《AI基建狂潮比你想的更大，而且还没到头》(04:47起):本集贯穿主线：GPU 用六年折旧、是芯片项目成本大头，供给追不上需求，NVIDIA 把签下的 GPU 转卖给出价更高者。
- 《当AI智能体成为云的大客户：AWS CEO Matt Garman 谈2200亿美元的豪赌》(01:16起):本集说 GPU 是最稀缺资源,AWS 刻意不做『全部卖给前沿实验室』的分配,约 60% 的申请最终以某种形式获批,并计划买入 200 万块 NVIDIA GPU。
- 《像经营世界上最大的创业公司一样经营思科》(17:36起):本集在讲数据中心建设时说，一吉瓦成本大头在 GPU 上，GPU 从服务器内互连扩展到机架、再到跨数据中心的网络连接。
- 《好老板不看短板：Ben Horowitz 聊选人、AI 与嘻哈教会他的事》(24:51起):本集说对 GPU 的需求是无限的，但拜登政府曾行政令规定未经批准出售 GPU 违法，且未来可能出现 GPU 暂时过剩
- 《AlphaGo 幕后团队再出发：这次不学人类，让 AI 自己发现一切》(55:02起):他们基于 NVIDIA GPU 的集群上尽量让模拟、训练、推理都跑在 GPU 上，避免依赖大量 CPU。
① 提到它的金句
6 条
我看到即将到来的，以及我认为模拟作为一个领域可以提供的，是智能单元的 GPU。
指向原始笔记的链接
What I see coming and what I think simulation as a field can offer is the GPU of intelligence unit.
—— Joon Sung Park · [51:45]
我们把其中一半花在了一个 GPU 集群上。在当时那简直是疯了。
指向原始笔记的链接
We spent half of it on a GPU cluster. That was crazy at the time.
—— Will Bryk · [07:43]
目前它位于集群之间，我们用的是线性可插拔光模块，但我认为未来五年这些光学元件会越来越贴近 GPU，走向共封装光学的状态。
指向原始笔记的链接
At the moment it’s between the clusters and we’re using linear pluggable optics, but I think in the next five years we will see these optical components get closer and closer to the actual GPU and we will go towards a state of co-packaged optics.
—— Adam · [09:48]
我以前其实有点认为 GPU 短缺是假的，但现在我亲身经历了，它确实是真的。
指向原始笔记的链接
I actually used to kind of think that the GPU shortage was fake, but now I’ve experienced it and it is
—— Devin Thomas · [27:04]
高并发情况下，你的 GPU 可能已经在忙于处理所有请求了，这时实现投机解码就没有意义；但如果你有多余的 GPU 空间，就值得考虑。
指向原始笔记的链接
High concurrency, your GPUs are probably already busy trying to run all the requests, so it wouldn’t make sense to implement speculative decoding, but if you have extra GPU space, it’s worth considering.
—— Sheila · [03:10]
你试图在 GPU 资源上管理锁或协调所带来的复杂度增加，远大于收益，因为即使你能把它降到微秒级，工作也要等到 GPU 上前一个工作完成后才会开始。
指向原始笔记的链接
The complexity increase that you get from trying to manage locks or coordination on the GPU resources, that complexity increase is much greater than the gain, because even if you were able to get it down to a microsecond, the work wouldn’t start happening until the previous work on the GPU had finished.
—— Charles Frye · [24:08]
② 出现在这些集
32 集
- 《AI 教母李飞飞:从 ImageNet 到空间智能》 — 作为概念
- 《只在美国才能发生的故事:黄仁勋与 NVIDIA》 — 作为概念
- 《没有暗GPU:一位基金经理拆解AI泡沫论与棋局》 — 作为概念
- 《OpenAI 工业算力负责人：把电子变成 token 的巨兽工厂》 — 作为概念(提及)
- 《「智能是数据的派生物」：Fireworks 创始人 Lin Kuo 的专用智能宣言》 — 作为概念(提及)
- 《Mayfield 管理合伙人 Navin:AI 投资的泡沫数学与蓝海打法》 — 作为概念
- 《Tether 做本地 AI：数据中心造太多了》 — 作为概念
- 《AI 投资泡沫的崩盘剧本:为什么万亿美元建数据中心注定亏钱》 — 作为概念
- 《AppLovin 双人谈：百人工程团队如何撑起千亿公司》 — 作为概念
- 《Martin Casado：AI 时代，钱比以前好使了》 — 作为概念(提及)
- 《Insight 创始人 Jerry Murdock：AI 泡沫何时破裂，谁会死掉》 — 作为概念(提及)
- 《把 token 压到最便宜：一家「代币工厂」的算力拾荒术》 — 作为概念
- 《Ed Zitron：生成式 AI 是一场万亿级骗局》 — 作为概念
- 《NVIDIA 布局全栈、OpenAI 被迫上市与 AI 资本的”第五名效应”》 — 作为概念(提及)
- 《RL环境的供应链黑箱与模型的分工时代》 — 作为概念(提及)
- 《Ollama CEO：开源模型正吃掉企业 80-90% 的 token》 — 作为概念
- 《每块 GPU 多付 10 万美元插队：Speechify 创始人的算力账与战略悔棋》 — 作为概念
- 《Transformer 不满十岁：AI 集中不是宿命》 — 作为概念
- 《推理已成一个分布式系统问题:Meta 讲透大规模推理的编排之道》 — 作为概念
- 《GPU 之后是什么：内存短缺、光子学与摩尔定律的尽头》 — 作为概念
- 《铜线到头了：光子学如何接住 AI 数据中心》 — 作为概念
- 《卖数据中心、卖 GPU、再卖 token:Crusoe 的 AI 算力生意经》 — 作为概念
- 《让 AI 在沙盒里撒野：一场关于沙盒的夺旗游戏》 — 作为概念(提及)
- 《在浏览器里跑大模型：DeepMind 带来的开源新玩具》 — 作为概念
- 《让小模型先猜，大模型来批：推理加速值不值？》 — 作为概念
- 《造芯片、建电厂、照镜子：Google AI 基础设施掌门人谈前沿计算的物理极限》 — 作为概念(提及)
- 《每家公司都该有自己的AI模型吗？》 — 作为概念
- 《AI基建狂潮比你想的更大，而且还没到头》 — 作为概念
- 《当AI智能体成为云的大客户：AWS CEO Matt Garman 谈2200亿美元的豪赌》 — 作为概念
- 《像经营世界上最大的创业公司一样经营思科》 — 作为概念(提及)
- 《好老板不看短板：Ben Horowitz 聊选人、AI 与嘻哈教会他的事》 — 作为概念
- 《AlphaGo 幕后团队再出发：这次不学人类，让 AI 自己发现一切》 — 作为概念
③ 关联
点进去有真内容 —— 本页主要出口
推理 · 智能体 · NVIDIA · OpenAI · Anthropic · Cursor · Google · 数据中心 · OpenRouter · token