KV
KV 缓存 (KV cache)
概念
本站收录 2 集 · 0 条金句 · 关联 10 个
集里怎么说它
- 《不靠一个模型打天下:多模型路由的早期探索与实战权衡》(18:53起):系统中决定成本的关键因素;Cognition 的 sidekick 机制因为能让上下文保持在 KV 缓存中,使得所有缓存 token 的成本便宜 10 倍。
- 《OpenClaw 创始人复盘:被 18,000 人狂改、被舆论压垮,我学到了什么》(38:19起):本集把它说成:大模型存放上下文的地方。如果在大型会话中做心跳检查,缓存已被清空,系统会把 60 万个 Token 重新发回服务器,导致成本浪费。
② 出现在这些集
2 集
③ 关联
点进去有真内容 —— 本页主要出口
智能体 · NVIDIA · OpenClaw · Tane · Peter Steinberger · Carter · Anthropic · Walden · OpenAI · 模型路由