跨国深谈← 返回←一次实验省下 64% 成本：给 AI 智能体配一个“分诊台”

一次实验省下 64% 成本：给 AI 智能体配一个“分诊台”

关联

人物 Sydney

公司 LangChain · LangSmith · OpenSWE

概念 智能体 · 模型路由 · 帕累托前沿 · 开放模型 · A-B 测试

如果你在用大模型搭智能体，最贵的那个模型往往会吞掉大部分预算。但很多任务其实用不着最强的模型。

LangChain 开源团队的产品经理 Sydney 分享了一个实验：给开源编程智能体 OpenSWE 加一个“模型路由器”，自动为每个任务挑选合适的模型。

结果是每个任务的中位成本下降 64%，质量没有可测量的变化。

为什么不该所有任务都用最强的模型？

Sydney 的出发点很简单：前沿模型的智能很贵，规模化运行的智能体会被成本拖垮。

连 Anthropic 这样的模型厂商都建议先从小模型（如 Claude Haiku）起步，确实不够再升级到 Opus 。

超过某个点后，你遇到收益递减：成本和延迟都在涨，产出质量却没有明显提升。

理想状态是“模型、框架、任务”三者匹配——用对智能和成本曲线上的那个模型，再由框架把合适的上下文喂给它。

路由器到底做什么？

路由器就像医院的分诊台。任务请求进来，一个分类模型加上写着判断标准的提示词，决定这个任务该用哪个档位的模型：

是快而便宜的、均衡的，还是慢而贵的高性能模型。选定的模型再去驱动智能体完成任务。

搭建路由器分四步：理解你的智能体在做什么任务；理解有哪些可用模型；在智能体的框架里建路由器；

持续追踪任务结果，确认成本降了、质量没掉。

第一步：先搞清楚你的智能体在干什么活

团队用 LangSmith 收集 OpenSWE 每次运行的完整轨迹，做聚合分析。

结果不意外：编程智能体的任务以代码改动为主，包括功能开发、修 bug、写测试，另外还有一些设计问题和通用问答 。

Sydney 认为这一步最重要——它是制定路由标准的根基。不清楚任务分布，就写不出有效的路由规则。

他们还按任务类型统计了调用次数和大模型成本，用来衡量复杂度：功能开发确实比写测试更复杂。

第二步：沿着“最优边界”挑三档模型

模型数据来自 Artificial Analysis 的智能指数。

Sydney 把性能和成本权衡最优的那组模型称为“帕累托边界”——在基准准确率和成本延迟之间拿到最好交易的一批模型 。

团队最终选了三个：GLM 5.3 Flash 当快速档，GPT 5.6 Sol 当均衡档，GPT 6 Astra 当高性能档。值得一提的是，GLM 5.3 Flash 是开源模型，Sydney 说路由器正是试验便宜开源模型的好机会。

第三步：把路由器装进框架里

路由标准来自两个来源：第一步的任务分析，以及 OpenAI 等厂商官方的模型使用指南。

这个路由器只在会话的第一条消息上运行一次，之后整个任务都用选定的模型——不做中途换模型。

最初用 GLM 5.3 Flash 配结构化输出来做路由决策，后来换成了专门的决策模型 JEV，号称比大模型更快更便宜，实测也确实如此 。

第四步：怎么证明质量没掉？

验证有两条路。离线评测很安全，但构建有代表性的数据集又贵又难。

更快的方法是 A/B 测试——线上流量天然有代表性，风险是真实用户可能撞上一个还不完善的路由器 。

团队追踪两个指标：合并 PR 的比率，以及用户对运行结果的点赞点踩。

将近 500 个会话的结果：中位成本降 64%，P90 成本降 37%，合并 PR 率没有显著差异。34% 的任务进了快速档，56% 进均衡档，只有 10% 真正需要高性能模型。

一个插曲：

他们还试过“全用快速模型”的对照组，结果一天之内就因为用户抱怨太多而叫停——这证明路由是必要的，不能一刀切全用小模型 。

还能怎么优化？

几个方向：在 OpenSWE 这类智能体上做实际验证 ；给子智能体也配上大小合适的模型；

会话中途升级模型——比如用户聊着聊着发现要修一个复杂 bug，可以中途换更强的模型，在对话中途重新路由，确保每个节点都用上适合手头任务的模型 。

换模型的代价是缓存失效，成本可能不低 ，但对 OpenSWE 这种异步智能体来说，反正从智能体响应到开发者在 Slack 里回复，经常超过 5 分钟，缓存早就失效了，所以缓存失效可能不是个大问题 。

接下来第四件事是挖掘更丰富的路由信号 。

本集带走

• 给智能体配“分诊台”式的模型路由器，实测中位成本降 64%，质量无显著变化。
• 四步法：摸清任务分布 → 沿成本-智能最优边界选模型 → 在框架里建路由器 → 先想好怎么衡量结果再上线。
• 路由决策不必用大模型，专门的决策模型（如 JEV）更快更便宜。
• 别一刀切用小模型：全用快速档的对照组因用户抱怨一天内叫停。
• 中途换模型值得一试，异步智能体的缓存失效代价可能没那么大。

所以我在这里基本上是在假设：对于很多我们让智能体去做的任务，我们往往不需要最好的模型。
So I’m basically assuming here that we often don’t need the best model for a lot of tasks that we ask our agent to do.
—— Sydney · [00:49]

超过某个点之后，你会有点陷入收益递减：成本和延迟在增加，但输出的质量并没有显著变好。
Past a certain point, you kind of hit diminishing returns where your cost and latency are increasing, but the quality of the outputs are not significantly better.
—— Sydney · [00:57]

提前剧透一下实验结果：我们实现了每线程中位成本降低 64%，且质量没有可测量的变化。
And to kind of spoil the results of the experiment here, we were able to see a 64% reduction in median cost per thread with no measurable change in quality.
—— Sydney · [02:00]