跨国深谈← 返回←内存带宽才是 AI 芯片的下一个战场：Fractile 创始人 Walter 的押注

内存带宽才是 AI 芯片的下一个战场：Fractile 创始人 Walter 的押注

关联

人物 Walter Goodwin

公司 Fractile · NVIDIA · Broadcom · TSMC

概念 推理 · 内存带宽 · ASIC · HBM · SRAM · DRAM · LLM · MOE · Flash Attention 之前的注意力 · 缩放定律 · 芯片设计

这一集是芯片创业公司 Fractile 的创始人兼 CEO Walter Goodwin 和 No Priors 主持人 Sarah 的对谈。Fractile 做的是给世界上最大的模型用的「非常快的推理芯片」（推理=模型部署后实际响应用户的阶段）。

Walter 抛出的核心判断是：AI 芯片竞争的下一张牌不是算力，而是内存带宽——过去 20 年浮点运算扩展了约一百万倍，内存带宽只提升了大约 40 倍 。谁能从廉价的 DRAM 内存里榨出激进的高带宽，谁就掌握了把大模型跑快的关键。

市面上全是「同一颗芯片」

现在 AI 专用芯片（ASIC，为特定任务定制的芯片）看似琳琅满目，实则千篇一律：Google 的 TPU、Meta 的 MTIA、Microsoft 的 Maya、OpenAI 的 Jalapeno，最后大多都是和少数几家「ASIC 交付厂商」（最大的是市值两万亿美元的 Broadcom）合作完成；而且全都用 HBM 高带宽内存、都押张量核心做矩阵乘法、都在 TSMC 做同样的先进封装 。

Fractile 的差异化在于「全栈」：从架构层（理解工作负载、设计电路意图）到前端设计（写代码描述芯片逻辑），再到物理设计、工艺、和代工厂打交道——甚至自己做强封装。这样一条链，行业里通常只留给少数公司，因为后端要做的事会让你「每周飞台湾或韩国」。Fractile 约 150 人，每个环节都精简，但换来一个敏捷闭环：行业交接模式下，你做到某一步就交给合作伙伴，之后「在某种程度上受制于那个合作伙伴的表现」。

技术押注：从 SRAM 转向「便宜内存的高带宽」

公司头两年，Fractile 走的是把 SRAM（和计算电路同在一块硅片上的超高速小容量内存）直接与算力放在一起、换取极高带宽的路线，借此做到每秒数千 token 的速度 。但 2023 年底到 2024 年，他们开始担心这种架构路线的可扩展性——因为随 AI 增长的不只是模型参数，还有上下文长度（模型一次能「记住」的对话长度），SRAM 的低容量装不下 。

于是过去几年他们转而和内存厂商、代工厂做合作项目，目标是：既有 GPU/TPU 上那种大容量低成本 DRAM 的可扩展性，又有 SRAM 路线的速度优势。新平台计划明年下半年量产爬坡 。Walter 强调，数据中心规模跑推理的经济性，最终坍缩为一个数字：每 GB 内存的成本 。

他还点破了一个行业错配：现有快速推理芯片「带宽超高但容量低得难以置信」，所以今天它们实际跑不了长上下文注意力，要切回 GPU 做 。而速度真正撬动局面的地方，不是「响应更快的聊天机器人」——他借用亨利·福特的话说，那是快速推理领域的「更快的马」——而是让长时间运行的智能体、让数万亿参数模型以每秒数千 token 从容运行 。

芯片能造多快？物理瓶颈是真的，但设计周期可以压缩

模型大约每两周就出一个新版本，芯片怎么办？Walter 的清醒剂是：找这些模型的共同点。

「新的 LLM 迫切希望拥有比现在高出几个数量级的内存带宽」——这一条永远成立 。同时他也承认会面临更大冲击：开源中国模型前沿的注意力机制每隔几周就在变，稀疏度、MOE 的稀疏程度都在churn。

关于「AI 能不能把芯片设计从架构师意图直接压缩成最终版图文件（GDS2）」，Sarah 转述某顶级半导体 CEO 的私下预测是 10 年。Walter 的启发式：把时间除以四，再减一点 。

但他不认为几周出一颗全新芯片会成为现实：代工流片周期即使加急也要三到五个月，且一颗芯片需要三到五年的摊销窗口才是合理的财务决策 。压缩设计周期的真正价值是更多射门机会——手里始终握着一批滚动的、随时可以触发量产的押注。

他算了一笔账：NVIDIA 系统里有六到九颗自家定制芯片协同工作，小公司必须靠 AI 生产力补上这个差距；「如果你能结构性地切出三到六个月的优势，你会赢下所有那些部署」——这就是芯片领域的「前沿模型」逻辑 。具体瓶颈在布局布线这类工具上：它们用传统算法解决 NP 难问题，一跑就是好几天，AI 加速思考之后，这些「试错环节」就成了新的瓶颈，值得用近似模型去打穿 。

带宽有自己的缩放定律

Fractile 宣称单芯片带宽可达 HBM 方案的 25 倍。这不只是跑现有模型更快——它反过来牵引模型架构：MoE（混合专家模型）理想上应该做得越来越稀疏（从 1/16 稀疏到 1/256），能省大量算力，但在今天 HBM 芯片上这么稀疏会带宽瓶颈、算力利用率极低；有了带宽，就能「用更少的算力达到同样智能水平」。「20 年里算力扩展了约一百万倍、带宽只提升约 40 倍」——扩展落后者，就是全局吞吐的乘数因子。

市场结构：为什么前沿实验室需要第三方芯片

当下所有大规模部署者都在买多个平台，第一方自研芯片「主要目的是压低付给 NVIDIA 的价格」——因为这些芯片架构上并不提供别人做不到的新能力，本质是议价博弈和产能控制 。而能带来新能力的芯片不同：每个想在前沿部署 AI 的人都需要「把模型快几个数量级」的方案——前沿实验室靠高端智能窗口活着，否则「我们所有人都会一直在用 Kimi 模型」，身后有开源追赶，就必须既有最好的权重、又有最快的部署。

最后一个结构性判断：为什么第三方芯片玩家不会被实验室收编？因为实验室在玩不对称博弈——假如你全押某款专有芯片，对手发现了只在它自家芯片上有效的计算突破，你可能在九个月内部署完之前就死掉。所以前沿玩家必须彼此部署相同平台，而把深度差异化押注的风险留给芯片玩家 。

本集带走

• 推理经济学=每 GB 内存成本：跑得快的路线不止 SRAM 一条；谁能给便宜的 DRAM 带来激进带宽，谁就同时拿下速度与规模。
• 模型万变，带宽刚需不变：每两周一个新模型不用慌——「新 LLM 迫切需要数量级更多的内存带宽」是几乎唯一的公共项。
• 设计周期除以四：架构师意图到成品文件的预测，别信 10 年，按「除以四再减一点」估；但流片 3-5 个月、芯片要 3-5 年摊销的物理/财务约束仍然真实。
• AI 提效的正确姿势是补瓶颈：设计流程里跑几天的布局布线等 NP 难环节，才是 AI 加速后卡脖子的一段，值得做近似替代。
• 前沿实验室需要中立供应商：全押单一专有芯片是九个月内可能致命的不对称风险，所以第三方前沿芯片玩家会长期存在。

它相当于芯片领域的前沿模型——如果你能找到一种办法，在结构上切分出三到六个月的优势，你将会赢下所有那些部署。
It’s the equivalent of the frontier model for the chip space is if you can just find a way to structurally carve out a three to six months advantage, you will be winning all of those deployments.
—— Walter Goodwin · [00:30]

响应更快的聊天机器人，差不多就是快速推理领域里的「更快的马」。
The snappier chatbot is kind of the faster horses of kind of fast inference.
—— Walter Goodwin · [13:21]

经济性实际上坍缩为本质上一个东西：你所使用的内存的每 GB 成本。
the economics actually collapsed down to essentially a kind of cost per gigabyte of the memory that you’re employing
—— Walter Goodwin · [14:42]

新的 LLM 迫切希望拥有比现在高出几个数量级的内存带宽，以便运行得更快。
a new LLM desperately wants to have orders of magnitude more bandwidth to memory in order to run faster
—— Walter Goodwin · [16:33]

另一个，我认为我们不能失去的，是需要进行非常深思熟虑、在架构上微妙的下注，因为你最终真正造出来的芯片仍然需要有三年以上的使用寿命。
There is also, I think, what we don’t lose is the need to place really thoughtful and subtle bets architecturally because the chip you actually end up making does still need to have a three year plus useful lifespan.
—— Walter Goodwin · [19:42]

另一部分，我认为这对 AI 实验的递归自我改进同样成立：当驱动实验的思考的智能水平越来越高、而实验因此成为瓶颈时，我认为我们会做更多的思考。
The other part there, and I think this is true of RSI for AI experiments as well, is as our intelligence levels on the thinking that then drives that experiment gets higher and higher, And as that experiment therefore becomes the bottleneck, I think we do more thinking.
—— Walter Goodwin · [26:57]

今天有个有点像笑话的说法：那些第一方自研努力，它们的主要目的是压低人们付给 NVIDIA 的价格。
There’s a bit of a joke today that the sort of first party efforts, their primary purpose is to reduce the price that people pay NVIDIA.
—— Walter Goodwin · [32:12]

在我部署足够多的那款芯片、从而也获得那种 5 倍计算效率提升之前的九个月里，我可能会死掉。
I could die in the nine months before I get to deploy enough of that chip that I’ve also now gained that kind of 5X in computational efficiency.
—— Walter Goodwin · [34:43]