负载
负载均衡 (load balancing)
概念
本站收录 1 集 · 0 条金句 · 关联 10 个
集里怎么说它
- 《开源大模型要跑得快，背后全是硬功夫》(12:58起):几十万块 GPU 跑模型时的真问题:LLM 工作负载输入输出大小差异大,随机路由会让缓存碎片化,他们用缓存感知路由器解决
② 出现在这些集
1 集
- 《开源大模型要跑得快，背后全是硬功夫》 — 作为概念
③ 关联
点进去有真内容 —— 本页主要出口
Nebius · Token Factory · 开源模型 · 推理 · 投机解码 · KV 缓存 · 量化 · 后训练 · NVIDIA · 微调