造芯片、建电厂、照镜子：Google AI 基础设施掌门人谈前沿计算的物理极限

关联

人物 Amin Vahdat

公司 Google · DeepMind

概念 TPU · AI 数据中心 · 有效产出 · 协同设计 · 智能体 · Gemini · 光路交换 · 专业化 · 轨道数据中心

人类历史上最大规模的资本开支正在进行中——仅 Google 一家，今年在资本开支上预计就超过 2000 亿美元，大部分流向数据中心。

站在这一切中心的，是去年底被任命为 Google AI 基础设施负责人的 Amin Vahdat。

他在播客 Training Data 里聊了芯片设计、电力供应、光网络，甚至太空数据中心，讲得坦率又具体。

AI 数据中心和普通数据中心有什么不一样？

共同点其实很多：混凝土、机房、电力、冷却、网络和存储。真正的区别在于专用化。

传统数据中心是按 20 到 30 年的投资周期规划的，里面什么服务器都可能放。而 AI 数据中心往往是为特定硬件量身定制的。

Vahdat 举了个例子：

一个存储机柜的功耗，和今天的 TPU 或 GPU 机柜相差一个数量级——后者轻松达到前者的十倍以上，几年后甚至可能到兆瓦级。

能放 30 个存储机柜的一排位置，可能只够放一两个 AI 机柜——建筑、供电、网络设计完全不同。

不看芯片算力，看有效产出

行业里常用 FLOPs(每秒浮点运算次数)来衡量芯片，但 Vahdat 认为这只是理论值，是虚荣指标。他更看重一个 Google 内部术语:good put,即有效产出。

意思是：一块芯片理论上能算多快不重要，重要的是实际工作负载跑出了多少、跑得多快。

训练和服务往往需要成千上万个部件同步协作，只要有一个出问题，整个任务可能要回滚重算。

就像在纸上解题，做到第四步发现第一步错了，你确实在干活——那是吞吐量——但对得出答案毫无贡献。

在 10 万块加速器的规模上，故障是常态。Vahdat 估计，这个规模下每小时甚至每分钟都可能有东西坏掉。

而且没有单一的常见故障原因，「这是一个不断发现的长尾问题」。

有时是硬件或网络，很多时候是软件——编译器 bug、运行时问题、操作系统问题，都会拖垮整台机器的性能。

每 6 个月，服务能力要翻倍

Vahdat 给团队定的目标是：有效服务能力——也就是生成 token 的能力——大约每 6 个月翻一番。

注意，这不等于芯片算力翻倍，更多提升来自软件和模型优化，可能是几十上百个小优化不断叠加的结果。

按每瓦 delivered 智慧来算，他观察到的贡献排序是：模型侧的改进贡献最大；软件系统次之，因为它保证硬件被有效利用；

硬件本身则是每年翻倍以上的稳定倍增器，托起所有人。

2013 年造 TPU,是一场赌局

Google 从 2013 年开始做自研芯片 TPU,在当时是反主流的。

当时的共识是：摩尔定律还在，通用 CPU 每一两年性能翻倍，何必为单一工作负载定制芯片？

Vahdat 说，公司内部当时也有不少人怀疑这个项目能不能成。

结果是赌赢了。

第一代芯片只做推理，主要服务语言翻译和语音识别；第二代开始做训练；随后 Transformer 架构诞生，彻底改变了 TPU 项目的走向。

推荐系统也被发现能在 TPU 上跑得很好，广告等业务跟着接入，项目规模越滚越大。

为什么不干脆把 Transformer 直接刻进芯片？

专用化是门艺术。芯片越专用、越不灵活，就越快、越省电——但前提是那个工作负载得足够持久。

Vahdat 说，如果某个负载只火三个月，就算再大，留给芯片设计的窗口也太窄了。

Google 今年的做法是拆成两颗芯片：8i 专攻推理，8t 专攻训练。原因是他们判断到 2026 年，推理服务可能占到市场需求的 30% 到 60%,值得单独优化。

但关键在于：两颗芯片都能兼任对方的活。

如果 8i 完全不能训练，Google 就必须提前 6 年——硬件的整个生命周期——精确预测每种需求各多少，风险太大。

至于把 Transformer 刻进芯片？Vahdat 解释，Transformer 底层就是向量和矩阵乘法加 softmax 这些线性代数原语，TPU 已经把这些烤进硬件了。

再往下一层，为某个具体模型定制芯片，是有些公司在探索的方向。

芯片设计师和模型研究员坐同一间屋

Google 与 DeepMind 的协作是硬件和模型的联合设计。

芯片管线同时有五六个阶段在进行：已在量产的、正在调试的、即将流片的、设计中的、概念中的。

有时 DeepMind 想出一个模型优化，发现如果有硬件支持会快很多，双方工程师就在同一个房间里密集讨论一到两周：

完全照做做不到，但可以换个方向，拿到 90% 的收益——那就值得让芯片推迟一两周流片。

Vahdat 说，这种「在飞行中修改芯片架构」的事，如果跨公司合作会难得多。

他每周和 DeepMind 的负责人(如 Demis)通好几次话。还有一件有意思的事：他们正在用 Gemini 设计未来 Gemini 所需的硬件。

AI 也已被用于数据中心设计规划，把信息汇总到决策者面前——虽然还没到推理模型替代人类判断的程度。

硬件工程师用 AI 的强度，已经和软件工程师相当，从设计启动到流片的时间在缩短。

为什么 Google 更愿意跟电力公司合作？

如果问 Vahdat 最根本的约束是什么，他的答案是：电力。

Google 的偏好是接入电网，而不是自建电厂。

原因在于统计复用：要独立保证 99.99% 以上的供电可靠性，得建一加一的冗余——1 吉瓦的需求可能要建 2 吉瓦，太贵了。

和电网合作，大家共享大基数的冗余，Google、电网、居民都受益。

当然，吉瓦级电力要提前多年和电力公司共同规划。

如果 2028 年需要 1 吉瓦，电网只能给 700 兆瓦，Google 可能会用太阳能和电池补缺口，甚至在用电高峰把自发电反哺电网。

Google 也会承担输电线路、变电站等基础设施的成本，避免推高其他用户的电价。

旧芯片不退休，整柜整柜换新

有个出人意料的数字：Vahdat 说，用了七八年的老 TPU,利用率仍然是 100%。

老芯片不会闲置，而是继续干活，直到大约 6 年的折旧期结束，再考虑更换。

更换的单位不是芯片，而是 pod——比如一个 8t pod 大约 9600 颗芯片。把整个 pod 拆掉，换上新一代 TPU 的 pod。

新 pod 的占地未必和旧的一样，还得现场想办法改造适配，这是很难的艺术活。

训练集群和推理集群也是分开建设的：训练集中在少数大站点，追求网络距离最小；

推理则要分布到全球各地，靠近用户，而且不能把太多算力放一个地方。

所以光靠退役的训练集群做推理不够，还得专门建推理集群。

用镜子切换光路：Google 的光电路交换

Google 十五六年前就把波分复用和光电路交换带进了数据中心。传统电分组交换要在电域读取每个数据包的头部、查表、转发；

光电路交换则完全不碰这些比特——用微机电系统(MEMS)控制三维空间里的小镜子，让光直接反射到目标端口。

好处之一是弹性：TPU 用 Taurus 拓扑直连，如果某个 TPU 机柜坏了，Google 可以在几毫秒内把光切换到一个热备机柜，不用任何人去动光纤。

太空数据中心，不是玩笑

Vahdat 确认 Google 在认真研究轨道数据中心，内部称之为moonshot级别的项目。

动机仍然是能源：太空里没有大气衰减，太阳能发电量约为地面的 1.4 倍；太阳同步轨道上，光照覆盖率可达 90% 到 100%,而地面只有 30% 左右。

两个因素相乘，电池几乎可以从等式中拿掉，而且是零碳。

当然挑战巨大：

太空散热其实更难，维修更难，组网只能靠自由空间激光——地面数据中心里那种漂亮的光纤束，到了太空就变成激光实时对准接收器。

但他说，「这里没有根本性的拦路虎」。

十年后的超算长什么样？

Vahdat 猜测，2036 年的前沿超算集成度会高得多：机柜由工厂集中制造，里面塞进成百上千颗 GPU 或 TPU,单个机柜可能达到数兆瓦。

安装变得极简——推进机房，接上水、电、一小束光纤，就开工了。

他甚至不排除到时候机柜直接发射到太空、由空间站的机械臂抓取对接的可能。

本集带走

• 10 万块加速器的规模下，故障随时发生；Google 考核的不是理论算力，而是真实负载下的有效产出(good put)。
• 每 6 个月服务能力翻倍，其中大部分提升来自模型和软件，而非芯片本身。
• TPU 今年的 8i/8t 双芯片策略，是专用化收益与保留灵活性之间的权衡艺术。
• 电力是最根本的长期约束；Google 选择与电网合作而非自建电厂，靠统计复用让各方都受益。
• 轨道数据中心是真项目：太空的太阳能优势巨大，没有根本性技术障碍，挑战在散热、维修和激光组网。

我对今天的主题非常兴奋，因为我们正处于人类历史上最大规模资本支出建设的进程中。
I am very excited for today’s topic because we are in the middle of the biggest CapEx build out in human history.
—— 嘉宾 · [00:59]

当然在 Google 没有，但正如你所说，就建设的规模和转型的速度而言，我认为在人类历史上都是难以置信的。
Certainly not at Google, but as you said, I think in the history of humanity in terms of the build-outs and the pace of transformation, really unbelievable.
—— Amin Vahdat · [01:38]

AI 数据中心很可能是专门定制的，与硬件协同设计，甚至到冷却和电力分配等方面。
An AI data center likely is going to be much more purpose-built, co-designed with the hardware, even to the point of cooling and power distribution, et cetera.
—— Amin Vahdat · [04:13]

我认为肯定是一天多次的规模，也许取决于具体的配置，每小时多次，总会有东西出故障。
I think that it is definitely going to be at the scale multiple times a day, and perhaps depending on the exact configuration, multiple times an hour, something is going to fail.
—— Amin Vahdat · [10:42]

如果有一个常见的故障原因，我们早就弄清楚并修好了。它是一个持续发现的长尾。
If there were a common failure reason, we’d have figured it out and fixed it. It is a long tail of constant discovery.
—— Amin Vahdat · [10:57]

你必须每六个月把那硬件生成 token 的能力翻一倍。而其中来自软件的部分会和来自硬件的部分一样多，甚至更多。
You have to double the capability of that hardware to generate tokens every six months. And as much or more of that is going to come from software as it is from hardware.
—— Amin Vahdat · [13:33]

就像芯片的苦涩教训是，专用化永远不会赢。
It’s like the bitter lesson of chips is that specialization never wins.
—— Amin Vahdat · [16:18]

每一层可能会有 10%、20%、2 倍的差距。你把这些优化机会相乘起来，突然之间你就得到了一个很大的端到端机会，不管你想怎么表述，比如每瓦智能或每瓦效益。
And so there might be 10%, 20%, 2x across each of these layers. You start multiplying those optimization opportunities through, and all of a sudden you’re left with a big end-to-end opportunity in terms of whatever you want to say, intelligence per watt or good per watt.
—— Amin Vahdat · [24:54]

但如果非要我从根本上回答，我会说电力是我们面临的最根本的单一约束。
But if I had to answer fundamentally, I would say that power is the single most fundamental constraint that we face.
—— Amin Vahdat · [43:00]

这件事太庞大、太重要，不能建成任何一家厂商的封闭专有技术栈。
It’s too big and too important to build out to be any one vendor’s closed proprietary stack.
—— 嘉宾 · [56:08]

我们的硬件工程师使用 AI 的程度和软件工程师一样多。而且生产力已经提升了。
Our hardware engineers are using AI as much as the software engineers are. And productivity has gone up.
—— Amin Vahdat · [57:16]

但在太阳同步轨道上，你的太阳能电池有 90 到 100% 的光照覆盖率，而地面上只有 28%、30%，也许 35%。
But in a sun-synchronous orbit, you have 90 to 100% coverage of sunlight on your solar cells relative to 28, 30, maybe 35%.
—— Amin Vahdat · [59:34]