调度
调度 (scheduling)
概念
本站收录 1 集 · 0 条金句 · 关联 10 个
集里怎么说它
- 《推理已成一个分布式系统问题:Meta 讲透大规模推理的编排之道》(03:00起):本集说推理调度器至少要感知七个轴(GPU 类型、显存、KVCache 状态、租户优先级、工作流上下文等),同一套机群的交付效率取决于你怎么调度
② 出现在这些集
1 集
③ 关联
点进去有真内容 —— 本页主要出口
Nishant Gupta · Naman Ahuja · Meta · 推理 · 智能体 · 微服务 · GPU · KVCache · 批处理 · 投机解码