跨国深谈← 返回←解码 (decode)

集里怎么说它

• 《大模型背后：推理引擎到底在干什么》(10:20起):串行逐个吐出 token 的阶段,每次都要重新加载模型参数,是推测解码等优化技术的目标

① 提到它的金句

1 条

所以我想说,NVIDIA GPU 在 transformer 模型的实际解码前向传递中,平均只获得 30% 到 40% 的内存带宽利用率。
So while NVIDIA GPUs, I would say, on average are getting between 30 and 40 percent memory bandwidth utilization in the actual decode forward pass of a transformer model
—— Thomas Somers · [34:12]

指向原始笔记的链接

② 出现在这些集

1 集

• 《大模型背后：推理引擎到底在干什么》 — 作为概念

③ 关联

点进去有真内容 —— 本页主要出口

Charles Frye · Modal · SGLang · vLLM · PyTorch · NVIDIA · Cognition · 推理 · 推理引擎 · 调度器