芯片设计变快了,瓶颈却跑到别处去了:Pat Gelsinger 谈 AI 硬件的下一个战场
关联
Pat Gelsinger 18 岁进 Intel,从技术员一路做到 486 处理器的架构师,后来执掌 Intel 和 VMware。现在他是 Playground Global 的普通合伙人。
在这期对谈里,他和 a16z 的两位投资人聊了一个核心问题:
AI 让芯片设计变容易了,但造芯片、供电、连网却越来越难——接下来卡住整个行业的会是什么?
AI 能三个月设计出芯片,但你要再等九个月才能用
Pat 回忆,486 时代他们没有现成工具,只能自己发明硬件描述语言、自己写编译器、和伯克利教授合作搞出最早的自动布线。
那是现代芯片设计软件产业的起点。
他判断今天正处在类似的转折点:AI 工具已经能完成大量逻辑设计。
假设他和主持人一起创业做芯片,三个月就能拿出很棒的设计。
但问题来了:设计完,晶圆厂生产要三个月,先进封装又要三个月,还得装进机架——「Nothing’s a chip anymore, it’s a rack.」现在没有芯片这回事了,单位是机架。
等到能用,九个月过去了。
而 AI 工作负载变化极快,一年半后你当初的理解已经过时。他举了 Graphcore 的例子:设计不差,但世界往前走了。
所以制造和规模化,成了比设计更大的瓶颈。
内存是个糟糕但最好的选择,30 年来第一次要变天
Pat 对现在 AI 芯片标配的 HBM 内存评价很不客气:「HBM is a hideous memory. It’s just the best one that we’ve got.」——HBM 是个糟糕的内存,只是我们手里最好的一个。
位密度差、功耗高、发热集中,而 AI 恰恰是吃内存带宽的工作负载。
他说,过去 30 年真正的主流新内存是零——数来数去只有 DRAM、SRAM、Flash。他个人经历过至少 5 种没能上市的新内存架构,包括 Intel 的 Optane——我们把它杀了。
但情况变了:三大内存厂商都进了全球市值前 20,整个行业市值 4 年涨了约 2.5 万亿美元。有了钱和需求,突破终于可能发生。
他提到铁电材料等新方向,还透露自己刚投了一家还在隐身期的新内存公司。「Memory innovation for the first time in 30 years is nigh upon us.」
芯片会叠多高?答案是三四层,不是十六层
内存和计算必须更紧密地叠在一起,但叠加层数不是越多越好。
层数越多,每一层的良率要求就得指数级上升,一颗碎裂的芯片芯无论如何救不回来。
Pat 的判断是:三四层是甜蜜点,内存堆叠两到四层就够了,加上供电、信号布线层,整个封装大概八层厚就到头了。
而且「我们工程师正在变成水管工」——供电、散热、液冷,全是管道活。
他也不看好两个流行方案:一是用光纤把内存拉远(访问大内存池时功耗浪费太多);
二是存内计算(把计算塞进内存里),因为这个想法已经转了 25 到 30 年,还会再转 25 到 30 年。
对光纤,他倒是铁杆支持者——用于所有输入输出。「I declared the death of copper about 25 years ago.」他 25 年前就宣判了铜线的死刑。「Eventually I’ll be right.」总有一天我会说对的。
一百家 AI 芯片公司?这阵仗不会持久
市面上现在大约有一百家 AI 推理加速芯片公司。Pat 认为这是暂时的,会回归集中,理由有三个。
第一,他不相信大规模的专用化。
工作负载本身还在快速迁移:今天大家为预填充和译码分别做专用芯片,明天推理模型又想要更像 CPU 的东西。
为某个切面专门优化的芯片,两三年后可能就对不上需求了。
第二,一百家不可能都赢。芯片要成,需要资本、需要负载、需要规模,市场逻辑决定了会整合。
第三,赢家会挑赢家。OpenAI、NVIDIA、Anthropic 这样的大玩家会选中某些方案并投入软件生态去扶持。
不过主持人也提出了反面观点:过去指令集难写编译器,所以只能标准化到一两种架构;
现在 AI 代理一晚上就能写出优化内核,异构硬件的编程门槛大幅降低。
Pat 承认这会改变瓶颈位置,但一年半的制造周期加上动辄数百亿的资本开支,仍然会把多样性压回去——而且大公司会把异构性藏到自己的架构里面。
他举例说 NVIDIA 收购 Grok 之后,两年后没人会分得清那是什么,它就变成 NVIDIA 架构的一部分。
最硬的瓶颈是电:能源容量就是经济容量
从第一性原理看,Pat 认为美国过去 10 到 15 年里,关停煤电的速度和新增可再生能源一样快,全国能源容量基本持平。
而「In a AI digital age, energy capacity equals economic capacity.」在 AI 数字时代,能源容量就等于经济容量。
最近五年情况略有好转,能源容量大约以每年 4% 的速度增长,但远不够。
燃气轮机的交付周期要八年,可再生能源供应链深度依赖中国,上一座美国核电站并网还是 20 年前的事。
他的预言相当直接:会看到越来越多数据中心项目违约,因为电到不了位。为什么建新数据中心、买一百万块 GPU,如果供不上电?
Oracle 已经是第一个信号。
出路包括核电(Playground 投了做核能运营的公司)、800 伏直流数据中心、氮化镓功率转换器件,甚至他投的超导公司 Snowcat——有机会把功耗特性改善一千倍。
「Power’s cool again」,电力又变酷了。
如果重造 VMware:给智能代理用的虚拟化
对谈最后回到两人共同的老东家 VMware。Pat 提出一个开放问题:当主要用户从人变成 AI 代理,虚拟化的每个环节都需要重做。
谁来管理成群的代理?谁来给它们建安全配置、管性能、做迁移?相当于要有代理版的 vMotion。
而人这一端也没消失——人要定政策、定宪法、看仪表盘。
设计约束彻底变了:让代理好用、安全、可抽象,而不是伺候硬件和人。这会是下一层计算体系里诞生一批新公司的地方。
本集带走
- AI 把芯片设计从一年压缩到几个月,但制造、封装、上机架仍要九个月,工作负载早变了——规模化成了新瓶颈
- HBM 内存糟糕但别无选择,30 年来第一次,资本和需求同时到位,新内存技术可能真正破局
- 一百家 AI 芯片公司是暂时现象,会因工作负载迁移、资本整合和大客户选边而收敛
- 能源是 AI 的硬上限:数据中心项目将因缺电而违约,核电和高压直流供电是主要出路
- 下一代的 VMware,可能是为 AI 代理而非人类设计的虚拟化层
每当你拥有让某件事变容易的技术,那就意味着瓶颈转移到了别的地方。
Whenever you have the technology to make something easy, that means the bottleneck moves somewhere else.
—— 嘉宾 · [00:17]
现在已经没有什么东西是一块芯片了,而是一个机架。
Nothing’s a chip anymore, it’s a rack.
—— Pat Gelsinger · [00:22]
从历史上看,任何行业从来都没有过一百家相互竞争的处理器厂商。
Historically, there have not been a hundred competing processor vendors in any industry ever.
—— 嘉宾 · [00:53]
所以,我可以三个月就把这东西设计出来,但实际上我没法在九个月内把它大规模做成真正的硅片。
So, I can design the thing in three months, but I can’t actually get it into real silicon at scale for nine months.
—— Pat Gelsinger · [10:20]
而且,正如我所说,HBM 是一种糟糕的内存,它只是我们目前拥有的最好的选择。
And, you know, for that, as I’ve described, HBM is a hideous memory. It’s just the best one that we’ve got.
—— Pat Gelsinger · [12:12]
你知道,它们不会全都赢,它们不会全都赢,因为归根结底,你必须在这些东西上获得规模。
And you know, they’re not all going to win and they’re not all going to win because at the end of the day, you have to get scale on these things.
—— Pat Gelsinger · [18:09]
所以我认为,说会有上百家这样的东西,是有点违背逻辑的。
So I think it sort of defies logic that you’re going to have a hundred of these things.
—— Pat Gelsinger · [18:20]
今天,你知道,写一个优化的 kernel,我认为 Calapeño 是一个很好的例子,但他们基本上说,你看,人类已经无法真正为这个东西编程了,但一个智能体群一夜之间就能做到。
Today, you know, writing an optimized kernel for, I mean, I think Calapeño was a great example, but they basically said, look, humans can’t really program this thing anymore, but an agent swarm overnight can do it.
—— 嘉宾 · [20:27]
那么过去 30 年里,我们到底有过多少种主要的新内存?零。
And exactly how many major new memories have we had over the last 30 years? Zero.
—— Pat Gelsinger · [23:17]
但我认为三十年来的首次存储创新即将到来。
But I think memory innovation for the first time in 30 years is nigh upon us.
—— Pat Gelsinger · [26:55]
而每比特通信的飞焦耳相对而言差了大约一千倍。
The femtojoules per bit of communication is comparatively a thousand times worse.
—— Pat Gelsinger · [33:35]
我大约 25 年前就宣告了铜的死亡。最终,我会是对的。
I declared the death of copper about 25 years ago. Eventually, I’ll be right.
—— Pat Gelsinger · [35:10]
你知道,实际上,我本来就不应该建造 NVL 72。这是一项工程奇迹,但也是一场制造噩梦,对吧?
You know, in reality, I should have never built an NVL 72. You know, it’s an engineering marvel and it’s a manufacturing nightmare, right?
—— Pat Gelsinger · [36:47]
因为在 AI 数字时代,能源容量等于经济容量。
Because in a AI digital age, energy capacity equals economic capacity.
—— Pat Gelsinger · [43:53]
而且我认为你会看到越来越多的数据中心项目出现违约,因为能源不会到位。
And I think you’re going to see more and more defaults happening on many of those data center projects because the energy won’t be there.
—— Pat Gelsinger · [45:28]
顺便说一下,作为工作负载演进的另一个特征,我确实认为训练和推理的分离未来会变得不那么明显,而不是更明显。
By the way, as another characteristic of workload evolution, I do think the separation of training and inferencing is going to become less so going forward, not more so.
—— Pat Gelsinger · [40:41]
人类比智能体有耐心得多。
Humans are a lot more patient than agents.
—— 嘉宾 · [51:13]
顺着「创业与行业」挖下去
- Ben Thompson:美国赢得 AI 竞赛反而是危险的同公司:Anthropic、Intel、NVIDIA、OpenAI · 同概念:推理 (inference)
- 每块 GPU 多付 10 万美元插队:Speechify 创始人的算力账与战略悔棋同公司:Anthropic、NVIDIA、OpenAI · 同概念:推理 (inference)、智能体 (agent)
- 从 Hugging Face 到中国药企:NVIDIA 的开源终局与 AI 制药的未来同公司:Anthropic、NVIDIA、OpenAI · 同概念:推理 (inference)、智能体 (agent)
换个口味
- 700 个 AI 智能体联手攻击公司,只为掩盖自己作弊同公司:Anthropic、OpenAI、NVIDIA · 同概念:智能体 (agent)、推理 (inference)
- Claude Tag:住在 Slack 里的主动型队友,如何让 65% 的 PR 由 AI 开出同公司:Anthropic · 同概念:内存创新 (memory)、智能体 (agent)、推理 (inference)
- 9亿美元管道背后:Unify CTO 谈怎么把销售智能体的成本打下来同公司:OpenAI、Anthropic · 同概念:内存创新 (memory)、智能体 (agent)
