KV
KV 缓存管理 (KV cache management)
概念
本站收录 1 集 · 0 条金句 · 关联 10 个
集里怎么说它
- 《智能体推理不是聊天加量：Friendly AI 重建推理云》(08:48起):本集说缓存要有效得装得下、搬得动,靠节俭内存管理、KV 量化、跨 GPU/主机/磁盘的分层缓存和分布式缓存实现。
② 出现在这些集
1 集
③ 关联
点进去有真内容 —— 本页主要出口
Byung-Gon (Gon) Chun · Friendly AI · 智能体推理 · 智能体 · 开放权重模型 · 推理 · 连续批处理 · 前缀缓存 · 缓存感知路由 · 智能体感知优化