跨国深谈← 返回←内存带宽 (memory bandwidth)

集里怎么说它

• 《内存带宽才是 AI 芯片的下一个战场：Fractile 创始人 Walter 的押注》(00:54起):本集核心论点：AI 芯片竞争的下一张牌不是算力而是内存带宽——20 年里浮点运算扩展约一百万倍、带宽只提升约 40 倍；数据中心推理的经济性坍缩为每 GB 内存成本。
• 《前沿实验室高管亲口说：AI 有一个我们不该越过的智能上限》(33:59起):本集说 NVIDIA GPU 实际只用到理论内存带宽的 30%-40%,Positron 第一代产品达到并维持 93%;还谈到内存报价一年涨了 4.5 倍。

① 提到它的金句

4 条

所以芯片越热，你获得的内存带宽就越多，你获得的 flops 就越多。所以有很强的回报。如果你能冷却得好，那也意味着你能产出更多智能。
So the hotter the chip, the more memory bandwidth you get, the more flops you get. And so there’s a strong payoff. If you can cool well, that also means you can produce more intelligence.
—— Sachin Katti · [07:59]

指向原始笔记的链接

这是每秒 PB 级的内存带宽。
That’s petabyte per second scale memory bandwidth.
—— Charles Frye · [51:23]

指向原始笔记的链接

所以我想说,NVIDIA GPU 在 transformer 模型的实际解码前向传递中,平均只获得 30% 到 40% 的内存带宽利用率。
So while NVIDIA GPUs, I would say, on average are getting between 30 and 40 percent memory bandwidth utilization in the actual decode forward pass of a transformer model
—— Thomas Somers · [34:12]

指向原始笔记的链接

因此,用我们的第一代产品,我们能够达到并维持理论内存带宽的 93%。
And so with our first gen product, we were able to hit and sustain 93% of theoretical memory bandwidth.
—— Thomas Somers · [34:52]

指向原始笔记的链接

② 出现在这些集

2 集

• 《内存带宽才是 AI 芯片的下一个战场：Fractile 创始人 Walter 的押注》 — 作为概念
• 《前沿实验室高管亲口说：AI 有一个我们不该越过的智能上限》 — 作为概念

③ 关联

点进去有真内容 —— 本页主要出口

NVIDIA · 推理 · 缩放定律 · Walter Goodwin · Prakash Narayanan · Fractile · Thomas Somers · Broadcom · Sean Wang · TSMC