批处
批处理 (batching)
概念
本站收录 1 集 · 0 条金句 · 关联 10 个
集里怎么说它
- 《推理已成一个分布式系统问题:Meta 讲透大规模推理的编排之道》(03:33起):本集说 LLM 服务需要持续的 in-flight 批处理,否则吞吐量崩溃一个数量级,批处理也是四象限优化框架中「共享工作」的手段
② 出现在这些集
1 集
③ 关联
点进去有真内容 —— 本页主要出口
Nishant Gupta · Naman Ahuja · Meta · 推理 · 智能体 · 微服务 · GPU · KVCache · 投机解码 · 可观测性