跨国深谈← 返回←Thomas Somers

① 他说过的话

5 条

我看了一下我们一年零一周前拿到的一份内存报价,从那以来它已经涨了四倍半。
I was looking at a quote that we had a year and a week ago for memory, and it’s gone up four and a half times since then.
—— Thomas Somers · [01:02]

指向原始笔记的链接

所以我想说,NVIDIA GPU 在 transformer 模型的实际解码前向传递中,平均只获得 30% 到 40% 的内存带宽利用率。
So while NVIDIA GPUs, I would say, on average are getting between 30 and 40 percent memory bandwidth utilization in the actual decode forward pass of a transformer model
—— Thomas Somers · [34:12]

指向原始笔记的链接

因此,用我们的第一代产品,我们能够达到并维持理论内存带宽的 93%。
And so with our first gen product, we were able to hit and sustain 93% of theoretical memory bandwidth.
—— Thomas Somers · [34:52]

指向原始笔记的链接

所以在 token 支出方面,它很快成为我们最大的非制造类支出项目。
So on the token spend side, it’s become our single largest non-manufacturing line item very quickly.
—— Thomas Somers · [44:34]

指向原始笔记的链接

我不在乎它是不是只有十分之一的每 token 成本。这就是不值得的花费。
I don’t care if it’s a tenth of the cost per token. It’s just not worth the expense.
—— Thomas Somers · [46:05]

指向原始笔记的链接

② 出现在这些集

1 集

• 《前沿实验室高管亲口说：AI 有一个我们不该越过的智能上限》 — 作为联合主持

③ 他谈到的

点进去有真内容 —— 本页主要出口

Prakash Narayanan · Sean Wang · Positron · Anthropic · NVIDIA · Latent Space · 智能体 · 预训练 · 蒸馏 · 推理

④ 也在聊「创业与行业」的人