跨国深谈← 返回←KVCache

集里怎么说它

• 《把 token 压到最便宜：一家「代币工厂」的算力拾荒术》(29:18起):模型为记住上下文而存的中间状态，随使用不断增长、常比权重还大；本集称它是超低延迟硬件的『眼中钉』，且每 token 存几千字节，浪费差一到两个数量级。
• 《把 100 万 token 用出 5 万的体验：SubQuadratic 的稀疏注意力》(35:02起):本集说它在数百万 token 时可能比模型权重本身还占内存,难以上机承载,也让机器人(只有手机大小显存)的长程建模不可能;SubQuadratic 在做让 KVCache 完全不必要的非注意力算法。
• 《推理已成一个分布式系统问题:Meta 讲透大规模推理的编排之道》(03:54起):本集说 KVCache 是 LLM 服务巨大的每请求状态,构建贵、扔掉更贵,使智能体应用不能随意重启或重路由,是级联失败的变数
• 《Jev 背后的人:Diogo 谈为什么 AI 应该像数据库而不是同事》(129:31起):嘉宾写了《KVCache rules everything around me》一文,称之为「KVCache 暴政」:把编码智能体锁死在单一模型上,被迫追加状态、放弃最佳软件实践
• 《让小模型先猜，大模型来批：推理加速值不值？》(00:43起):本集说它是模型读入 prompt 后构建的「工作记忆」，只建一次；投机解码不加速建缓存这一步，且两个模型都要为 KV 缓存分配额外空间

① 提到它的金句

1 条

KVCache 有点像到处使用全局变量，但如果你能对自己的状态聪明一些呢？
The KVCache is a little bit similar to having global variables everywhere, but what if you could be smart about your state?
—— Diogo Almeida · [80:48]

指向原始笔记的链接

② 出现在这些集

5 集

• 《把 token 压到最便宜：一家「代币工厂」的算力拾荒术》 — 作为概念
• 《把 100 万 token 用出 5 万的体验：SubQuadratic 的稀疏注意力》 — 作为概念
• 《推理已成一个分布式系统问题:Meta 讲透大规模推理的编排之道》 — 作为概念
• 《Jev 背后的人:Diogo 谈为什么 AI 应该像数据库而不是同事》 — 作为概念(提及)
• 《让小模型先猜，大模型来批：推理加速值不值？》 — 作为概念

③ 关联

点进去有真内容 —— 本页主要出口

智能体 · 推理 · GPU · Anthropic · RAG · 投机解码 · OpenAI · vLLM · Neil Movva · Alexander Whedon