一颗餐盘大的芯片:Cerebras 创始人讲晶圆级豪赌
关联
这一集聊的是一件听起来近乎疯狂的事:把整片晶圆做成一颗芯片。主角是 Andrew——晶圆级芯片公司 Cerebras 的 CEO 和创始人,他用十年时间把「没人认为可行」的晶圆级方案做到了量产。而全集中最有冲击力的一个事实是:最聪明的一批人干两年、送进一座造价四五百亿美元的晶圆厂,最后从另一头出来的芯片只卖 22 美元——「这属于人类有史以来最了不起的成就之列」。
挑战巨人:好一点是死路,必须好一百倍
2016 年 Andrew 创立公司时,AI 远不是今天的样子,但他作为计算机架构师看到的是:AI 是一个计算极其密集的工作负载,而当时被使用的架构是后来才改造去适配它的。他的判断有一条铁律:如果市场里站着一个巨人(那时的 NVIDIA 已经是了),「好一点或者便宜一点不是一个可行的策略」——你价格是它的三分之二,它可以直接降价、捆绑、削减成本,能做的事有一百件。所以必须带着好得多的东西出场:快十倍、一百倍、五百倍,好到「即使对方把它免费送出去,他们也无法竞争」。
投资人 Eric 给这笔账算得更狠:新公司从零到规模至少要五年,而现有巨头每年都在翻倍前进,五年就是 32 倍,你还得再乘上一个倍数优势——「所以你必须瞄准好 100 倍、1000 倍,如果你想在他们之前与市场交汇的话」。这决定了你不能靠渐进式改进:「你没法靠渐进式改进达到好得多的水平」。
唯一的路是激进创新,而激进创新的代价是:没有现成供应商在等你——造一块餐盘大小的芯片,你没法在产品目录里找到散热器,因为从来没人造过比邮票更大的。外围的一切都得自己造,但也因此长出了封装领域世界第一的能力。
十八个月濒死:「只犯新的错误」
他们一直有两条轴:能不能造出来?能不能卖掉?
卖掉从来不是问题——「我们一直相信,只要我们能造出来,就会有巨大的需求」。真正的深渊是造不出来:从来没人做过晶圆级,一群人说这永远不可能,连他们自己也没有任何证据。
有大约 18 个月,他们做不出来,而每个月烧大约 800 万美元。董事会每六周开一次,Andrew 要汇报的全部内容就是:「还是做不出来。
不然我们还能谈什么?」
支撑他们的是一条座右铭:只犯新的错误。每次失败都做完整的失效分析,弄明白原因,然后就不再以那种方式失败。
进展是可以看见的:一开始几秒钟就把晶圆弄碎,后来是几分钟,然后有一次跑满了整整一个小时。2019 年 7 月的某一天,系统在跑、温度持平,他们挤在一间由小办公室改成的实验室里——墙上钻了个洞往外抽热气——盯着服务器说:「天哪,我们解决了计算领域 75 年里没人解决过的问题。」
【背景】ASR 转写稿把公司名听写为「Cerebrus」,实际是做晶圆级芯片的 Cerebras;文中 Andrew、Eric 分别指其创始人 CEO 与投资人。
从沙子到 ChatGPT 回答:供应链是怎么卡住的
主持人请 Andrew 用大白话讲一遍芯片供应链。一座最先进制程的晶圆厂是「现代金字塔」:建造成本高达数百亿美元,好几个橄榄球场大。
三星在德州建厂时,甚至先建了一座发电厂专门用于制造混凝土——数百辆混凝土搅拌车 7x24 连续运转多年,只为浇出地基。光刻机只有 ASML 一家能造,全世界只有这一家,一台长五六十英尺、贵到数亿美元级别——「这是真正的垄断,不是源于试图控制供应。他们拥有别人一直无法复制的技术」。
但真正的瓶颈不在光刻机(「可能没有」受限),而在晶圆厂本身:需求是指数级的,晶圆厂五年才能建成,永远追不上。「AI 以软件的速度前进,而数据中心以房地产的速度前进。
这就是我们落后的原因。」 Andrew 认为美国花了三十年糟糕政策把晶圆厂和整个配套产业(设备商、封装厂)赶出了国门,他的解法很直接:和 Global Foundries、台积电、三星谈一个 20 年的窗口期,豁免所有地方法规,全力建美国本土产能——「如果我们失去芯片产能,对我们的行业将是灾难性的」。
转向推理:像路由器一样做决策
公司以训练系统起步——因为训练因反向传播是更难的问题,当时认为推理会发生在各种分布式设备上。那后来怎么转向推理的?
Andrew 用一个比喻区分两种决策方式:一种是老式电话电路,远早于未来就把路径想清楚、拉一条专线;另一种是路由器,一跳一跳地走,每翻过一座山就重新决策。他们是后者:「我们知道外面有一罐金子,但我们知道通往它的路径是不可知的。」
每实现一件事就登上一个新的观景点。当他们看清「AI 会聪明到人人都想用」时,结论自然浮出:「如果每个人都想使用它,推理将会压垮计算基础设施。
我们最好在那个位置上。」 之所以能这么转,靠的是早期架构里的一个好决定:不嵌入任何加速卷积网络这类特定技术,而是去加速支撑所有 AI 的底层代数运算——所以 Transformer 出现时,尽管他们从未听说过它,他们已经是跑它最快的。
速度创造市场,而不是省电
既然算力处处受限,主持人问:是不是「每瓦 token 数」才是唯一重要的指标?Andrew 的回答把问题拉高了一层:他们选择专注的速度,历史上一直在创造市场。
「慢速搜索是没有市场的。拨号上网是没有市场的。
」 他给主持人出了个惩罚孩子的主意:别没收手机,把网速调回拨号速度用一周——那才是真惩罚。网络慢的时候,Netflix 用信封寄 DVD;网络快了,它变成了电影制片厂——不是把原来看家本领做得更好,「他们变成了一个全新的东西」。速度上去了,全新的应用类别才会冒出来。
另一条路是提吞吐量:通过「解耦」(disaggregation,把推理流程里能拆给别人的环节拆出去)与 AMD、AWS 合作,在保持速度不变的情况下拿到了 5 倍的额外吞吐量,AWS 那边也是类似数字。而且因为架构上的通用性,「我们有机会在整个 GPU 版图中做到这一点」——四大芯片厂商(NVIDIA、AMD、Google TPU、AWS)里,他们已经在和两家合作。
对 NVIDIA 的另类解读,和大卫的心态
「我认为大多数人对 NVIDIA 之所以伟大的理解是错的。」 不是 CUDA,也不是芯片架构——「那只是人们嘴上说的」。
是那种难以置信的坚韧:作为上市公司挣扎了十年,股价糟糕、没人听你说话,却一路战斗,「而那会进入你的 DNA」。Andrew 自己也是这种心态:「我是在与歌利亚之战中职业的大卫。」 公司每被唱衰一次,他就燃一次:说做不了晶圆级,做成了;说没法量产良率,实现了;说没有政府以外客户,拿下了主权云;说没有前沿实验室,拿下了 OpenAI;说没有超大规模云厂商,也赢了;说做不了大模型——「现在我们在服务 GPT」。
关于人才,他的原则是分清经验何时重要:产品组织全用年轻聪明人、内部提拔,因为在「客户在 AI 领域想要什么」上没有长期历史可依赖,聪明和洞察胜过经验;但造芯片这件事,「此前造过若干年芯片是预测你能否交付卓越芯片的最佳指标」。至于人际关系,无论内部还是和台积电、代工厂的外部关系,答案都朴素得像你妈教的那样:说到做到、提早给信息、写感谢信——「你信守承诺」。
本集带走
- 别用「好一点」挑战巨头:对手利润率高、能降价能捆绑,你必须好到对方免费送都无法竞争——按五年追赶期倒推,目标要定在 100 倍量级。
- 「只犯新的错误」:每次失败做完整失效分析,确保同类失败不重演。进展慢不等于没进展,几秒碎晶圆到跑满一小时,就是可以看见的路标。
- 长期项目里,董事会该做的是自己擅长的事:融资、招聘、围绕持久战提尖锐问题;让工程师去工程,别试图替团队做技术选型。
- 看不清路时学路由器:方向笃定、路径一跳一跳地走,每登上一座山重新决策;但架构层的关键取舍(专用 vs 灵活)要为未知的未来留余地。
- 别把「不可复制」想当然:全球只有 ASML 能造光刻机、只有台积电有造最先进晶圆厂的技能,这类单点垄断是整个 AI 供应链真正的约束。
你其实需要一点天真。
Like you actually need some naivete.
—— Eric · [03:15]
别告诉你的 VC 你的东西有多难。
Don’t tell your VCs how hard your shit is.
—— Eric · [03:50]
我们的看法是,如果你要去挑战歌利亚,如果市场里站着一个巨人——那时的 NVIDIA 已经是了——那么好一点或者便宜一点不是一个可行的策略。
And our view is that if you’re going to attack Goliath, if there’s a giant standing in the market, like NVIDIA was even at that time, that being a little bit better or a little bit cheaper is not an available strategy.
—— Andrew Feldman · [04:30]
你没法靠渐进式改进达到好得多的水平。
You can’t incremental your way to vastly better.
—— Andrew Feldman · [05:47]
当你做激进创新时,没有现成的供应商在等你。
When you do radical innovation, there are no vendors waiting for you.
—— Andrew Feldman · [06:24]
盯着服务器看——那跟看着油漆干差不多刺激——然后说,天哪,我们解决了计算领域 75 年里没人解决过的问题。
Stared at a server, which is about as exciting as looking at paint dry and said, holy crap, we’ve solved this problem that nobody in 75 years of compute had ever solved.
—— Andrew Feldman · [12:39]
这是真正的垄断,不是 De Beers 那种靠控制供应造出来的垄断。
This is a true monopoly, not born of, you know, what De Beers did, which was try and control supply.
—— Andrew Feldman · [18:50]
AI 以软件的速度前进,而数据中心以房地产的速度前进。
AI is moving at the speed of software and data centers are moving at the speed of real estate.
—— Andrew Feldman · [19:51]
那大致就是我们工作的方式,我们知道外面有一罐金子,但我们知道通往它的路径是不可知的。
And that’s sort of the way we worked, where we knew there was a pot of gold out there, but the path to it we knew was unknowable.
—— Andrew Feldman · [30:32]
如果每个人都想使用它,推理将会压垮计算基础设施。
If everybody wants to use it, inference is going to crush the compute infrastructure.
—— Andrew Feldman · [31:30]
美国所有数据中心的用水量比加州杏仁种植者还少。
All the data centers in the U.S. use less than California almond growers.
—— Andrew Feldman · [46:27]
你想想,慢速搜索是没有市场的。
If you think about it, there’s no market for slow search.
—— Andrew Feldman · [53:02]
网络慢的时候,Netflix 用信封装 DVD 寄送。而网络变快了,他们成了电影制片厂。
When the internet was slow, Netflix delivered DVDs and envelopes. And when the internet got fast, they became a movie studio.
—— Andrew Feldman · [53:36]
我认为大多数人对 NVIDIA 之所以伟大的理解是错的。
I think most people are wrong about what makes NVIDIA great.
—— Andrew Feldman · [55:27]
我是在与歌利亚之战中职业的大卫。
I’m a professional David in the battle with Goliath.
—— Andrew Feldman · [57:53]
我们只对解决别人解决不了的问题感兴趣。
We’re only interested in solving problems that other people can’t solve.
—— Andrew Feldman · [59:35]
顺着「创业与行业」挖下去
- Arm CEO 谈芯片、AI 与下一个十年的算力格局同公司:NVIDIA、TSMC · 同概念:供应链 (supply chain)、推理 (inference)、数据中心 (data center)
- 每块 GPU 多付 10 万美元插队:Speechify 创始人的算力账与战略悔棋同公司:NVIDIA、OpenAI · 同概念:推理 (inference)、训练 (training)
- OpenAI 工业算力负责人:把电子变成 token 的巨兽工厂同公司:OpenAI · 同概念:推理 (inference)、数据中心 (data center)
换个口味
- 当 AI 决定买什么软件:G2 的「信任层」生意同公司:OpenAI · 同概念:推理 (inference)
- 不只做推理:Modal 如何跨界多节点训练与智能体云同概念:推理 (inference)
- 不靠一个模型打天下:多模型路由的早期探索与实战权衡同公司:NVIDIA
