跨国深谈← 返回←推理已成一个分布式系统问题:Meta 讲透大规模推理的编排之道

推理已成一个分布式系统问题:Meta 讲透大规模推理的编排之道

关联

人物 Nishant Gupta · Naman Ahuja

概念 推理 · 智能体 · 微服务 · GPU · KVCache · 批处理 · 可观测性 · 控制平面 · 调度 · 级联失败

这一集是 AI Engineering World Fair 的一场演讲，主角是 Meta 负责效率、训练和推理基础设施的工程师 Nishan Gupta 和 Naman Ahuja,主题是：当推理(模型上线后真正响应用户请求的过程)达到生产规模，它就不再只是「调用一个模型」，而是一个经典的分布式系统问题。他们给出的核心判断是：推理流量已经超过世界上最大的微服务，而且是见过的一切工作负载中增长最快的 。AI 正走在云计算当年那条「价值沿栈上移」的老路上——云时代价值从虚拟机移到了 Kubernetes 这类调度编排层，AI 也在重演，只是把十年的演化压缩进了最近几年，现在正在实时涌现的正是编排层 。

智能体把容量规划彻底打乱了

传统 Web 服务时代，容量大致随用户数线性增长：用户翻倍、请求翻倍、机器翻倍，容量规划基本是拉个电子表格的事。但在智能体服务里，容量等于用户数 × 每用户调用次数 × token 数。

一个聊天机器人每轮可能只调一次模型，co-pilot 是 10 到 20 次，研究智能体是 50 次，而无人值守的自主工作负载是数千次调用 。结论：不能用规划微服务的方式来规划智能体的容量，必须做工作负载感知的调度和准入控制 。

推理服务与微服务的五个本质差异

• 请求形态：微服务假设请求短而均匀；LLM 请求的 token 数从 50 到 10 万不等，且 pre-fill(预填充，处理输入)和 decode(解码，逐字生成)两阶段计算特征截然不同。
• 批处理：微服务最多在负载均衡层批一下；LLM 服务必须做持续的 in-flight 批处理(生成过程中不断把新请求塞进当前批次)，否则吞吐量直接崩一个数量级。
• 状态：微服务大多无状态；LLM 有巨大的每请求状态 KVCache(模型生成时缓存的中间计算结果)，建起来贵，扔掉更贵。
• 扩展单元：微服务跑在廉价 CPU 上；推理必须跑 GPU——贵 100 倍、获取慢 10 倍，不能随意超额配置。
• 故障模式：微服务崩了重启即可；模型从冷到热启动耗时巨大，一张正在 decode 的 GPU 挂掉会丢弃数千个在途 token 并引发队列积压 。

智能在模型，经济性在基础设施

一个 prompt 进来，幕后要走一长串步骤：网关 → 路由 → 缓存查找 → 调度器(选 GPU 集群和硬件，NVIDIA、AMD 或自研芯片)→ 服务运行时(vLLM、SGLang 等)→ 按 SLO(服务质量目标)流式返回。这些步骤里只有一步需要模型，其余全部是基础设施——「智能可能存在于模型中，但经济性、可靠性和用户体验全都在基础设施里」。

而且这些层之间深度耦合：路由层的一个决策会改变缓存命中率，缓存命中改变批处理组成，批处理改变 GPU 利用率，GPU 利用率又改变自动扩缩容决策 。所以排查性能回退必须从上到下看整个技术栈，找到瓶颈到底在哪一层再投入资源。

一次推理就是一次分布式事务

推理的行为像分布式事务：图里每个箭头都是一跳网络，每一跳都可能重试、超时、回退甚至失败，各自有 SLO,还在向用户流式返回 。麻烦在于部分结果语义：如果已经给用户流了 200 个 token,突然 GPU 主机被抢占，你不能简单重试。所以可靠性没法只建在边缘，必须是控制平面的属性——因为只有控制平面看得到整个工作流 。

调度器要感知七个轴

传统微服务装箱看三四个维度就够了；推理调度器至少要感知七个轴：GPU 类型(集群里 H100、B200 等异构硬件混布、网络拓扑各异)、HBM 显存余量、KVCache 状态、模型权重是否已加载预热、租户优先级(多租户各有 SLO)、工作流上下文、延迟预算。工作流上下文尤其关键：调度器得知道请求 R 处于五分钟工作流的第三步、前两步已经花了 X 加 Y 美元——第三步失败整个工作流就作废，前面的算力全浪费。所以工作流感知编排会直接改变准入决策、优先级和重试策略 。

优化的四象限框架

Nishan 分享了一个他自己常用的框架，把所有推理优化分进四个象限：①避免工作——用前缀缓存、响应缓存、语义缓存整个跳过；②共享工作——用批处理让多个请求共享计算，包括投机解码(让小模型先猜、大模型来验)这类技术；③移走工作——路由到更小的模型、更便宜的区域或离用户更近的地方；④延迟工作——通过准入控制和排队等更好的时机，需要理解请求优先级并实现截止时间感知调度。这个框架可迁移到任何技术栈：不管你用 vLLM、SGLang 还是 TensorRT,每项技术都能归入四个象限之一 。

成本上也是同一个道理：成本不只是 GPU 和模型，还有重试、存储、失败、网络和开发运维。别只优化每 token 成本或每请求成本，要优化每个成功任务的成本——那才是用户真正关心的 。

级联失败：故障从来不是 GPU 挂了

故障故事的重头从来不是某张 GPU 被抢占，而是随之而来的反馈循环：GPU 退化 → 延迟上升 → 客户端重试 → 队列加深 → 健康 GPU 饱和 → 更多重试 → 整个区域故障。智能体应用还有个变数：KVCache 扔不得，不能随意重启或路由到别的集群——冷池必须先预热才能接流量，期间热池得扛下全部请求 。所以环路断路器必须刻意设计：路由层熔断器、直接拒绝而非排队的准入控制、跟队列深度(而非 CPU/内存利用率)挂钩的负载卸载，以及重试预算。

可观测性与不可能三角

Naman 接棒讲运营视角：推理达到生产规模后，运营问题变成「平台如何知道接下来该做什么」，可观测性就是向控制回路提供输入信号——遥测、分析、驱动调度和路由的决策，循环往复 。关键指标有四个：首 token 时间(多快拿到第一个响应)、利用率比率(瓶颈是内存还是计算)、每美元成功数(平台是否高效在交付)、端到端延迟。

而延迟、成本、吞吐量之间存在类似 CAP 定理的权衡，不可能三者兼得：加大批次提升吞吐和成本效率但伤尾延迟；投机解码改善延迟但增加每 token 成本；换小模型降延迟降成本但质量下降，失败重试又把成本抬回去 。每个服务决策都是在这三角里挪位置，运营工作就是一个优化问题。

结论：推理需要自己的控制平面

路由、批处理、缓存、调度、可靠性正在汇聚成一个逻辑层，他们称之为 Inference Control Plane(推理控制平面)。这正对应 Kubernetes 当年把 VM 管理变成控制平面的转变：模型正在成为资源，GPU、KVCache、token、延迟、成本都是被调度的对象。

无论这层是自建、开源还是买供应商的，关键设计假设是：这一层必将存在 。他们分享了几个运营教训：基础设施瓶颈通常先于模型瓶颈出现；堆 GPU 不能真正解决弹性问题，只是掩盖；同一套机群的交付效率取决于你怎么调度和批处理；自动控制回路胜过手动流程。

AI 基础设施的第一阶段是更好的模型，当前阶段是更快的推理，下一阶段是编排——GPU、内存、缓存都只是需要被调度和控制的资源。早点理解这一点的团队会为未来构建基础设施。收尾一句话：基础设施不再是一个容量问题，而是一个编排问题 。

本集带走

• 容量规划公式变了：智能体时代容量 = 用户数 × 每用户调用次数 × token 数，聊天机器人每轮 1 次调用、co-pilot 10-20 次、自主工作负载数千次，照微服务的老办法规划必炸。
• 别只优化每 token 成本，优化每个成功任务的成本——用户只关心任务成没成，这也是平台真正的效率指标。
• 优化思路先过四象限：避免(缓存跳过)、共享(批处理)、移走(路由到更便宜更近处)、延迟(准入控制排队)，任何技术都能归类，便于看清新优化与旧技术如何叠加。
• 可靠性必须是控制平面的属性：推理像分布式事务，已流出的部分结果让简单重试失效，熔断、准入拒绝、按队列深度的负载卸载、重试预算都要刻意设计。
• 记住四指标 + 三角权衡：首 token 时间、利用率比率、每美元成功数、端到端延迟；延迟/成本/吞吐量类似 CAP,不可兼得，每个决策都是挪位置。
• 押注推理控制平面：这层是云计算「价值上移到编排」剧本的重演，模型、GPU、KVCache、延迟、成本都会成为被调度的资源。

推理流量已经超过了世界上最大的微服务,而且其增长速度是我们见过的任何工作负载中最快的。
The inference traffic already outpaces the largest microservices in the world, and the rate of growth is fastest of any workload we have ever seen.
—— Nishant Gupta · [00:43]

AI 正走在完全相同的轨迹上,只是被压缩到了最近几年而不是十年。
AI is on the exact same trajectory, but just compressed into the last few years instead of a decade.
—— Nishant Gupta · [01:24]

关键的要点是:你不能用我们规划微服务的方式来规划智能体的容量。
The key takeaway that you cannot plan capacity for the agents the same way we did for microservices.
—— Nishant Gupta · [02:55]

智能可能存在于模型中,但经济性、可靠性和用户体验全都在基础设施里。
The intelligence might lie in the model, but the economics, the reliability, and the user experience are all in the infrastructure.
—— Nishant Gupta · [05:31]

推理需要它自己的控制平面。
Inference needs its own control plane.
—— Naman Ahuja · [17:05]

所以收尾的观点是,基础设施不再是一个容量问题。
So the closing idea is infrastructure is no longer a survey problem.
—— Naman Ahuja · [19:21]