缓存
缓存感知路由 (cache-aware routing)
概念
本站收录 1 集 · 0 条金句 · 关联 10 个
集里怎么说它
- 《智能体推理不是聊天加量：Friendly AI 重建推理云》(07:40起):本集说朴素负载均衡会破坏缓存局部性,缓存感知路由把请求发到已缓存正确前缀的 pod,把冷启动预填充变成热缓存命中。
② 出现在这些集
1 集
③ 关联
点进去有真内容 —— 本页主要出口
Byung-Gon (Gon) Chun · Friendly AI · 智能体推理 · 智能体 · 开放权重模型 · 推理 · 连续批处理 · 前缀缓存 · KV 缓存管理 · 智能体感知优化