前缀
前缀缓存 (prefix caching)
概念
本站收录 1 集 · 0 条金句 · 关联 10 个
集里怎么说它
- 《智能体推理不是聊天加量：Friendly AI 重建推理云》(07:34起):本集说它是四大支柱之一:相邻智能体步骤共享巨大前缀,只计算一次键值并缓存、后续复用,避免在已做过的工作上重复烧算力。
② 出现在这些集
1 集
③ 关联
点进去有真内容 —— 本页主要出口
Byung-Gon (Gon) Chun · Friendly AI · 智能体推理 · 智能体 · 开放权重模型 · 推理 · 连续批处理 · KV 缓存管理 · 缓存感知路由 · 智能体感知优化