跨国深谈← 返回←谁花光了所有 token：给 AI 智能体装上成本治理

谁花光了所有 token：给 AI 智能体装上成本治理

关联

人物 Tisha Chawla

概念 TokenOps · 智能体 · 控制平面 · 归因 · token 最大化 · 账本 · 预算 · steer 动作 · halt 动作 · boundary 注解 · 失控成本 · 自学习模块

打开智能体工作流的 AI 账单，却追查不出钱到底花在哪——演讲者 Tisha 说，这是当今 AI 领域最昂贵的问题。她和联合演讲者 Sushim 在这场演讲里提出了一个方案：TokenOps,一套针对 AI 智能体的失控 token 治理系统，在开源仓库上的基准测试中，把平均支出降了近 78%。

先看问题有多大。现在业界推崇的是 token maxing——为了探索等各种目的花最多的 token,人们还以自称 token 亿万富翁为荣。

他们认为这没错，真正的问题是价值与花费脱节：有新闻说 Uber 的 AI 预算四个月内耗尽，还有公司几个月甚至几天就烧掉数亿美元，失控循环导致成本飙升，却没有机制能控制。所以这场演讲的主题是从 token maxing 转向 value maxing——核心问题就一句：到底是谁花光了所有 token?

为什么现有的控制手段都差一环

他们从软件演进的历史找规律：SaaS 时代的界面是 UI,控制靠席位限制和分层策略；云时代变成按量付费，控制靠自动配置和自动伸缩。而现在智能体的成本按模型调用计算，却没有一个合适的控制平面——模型网关这类工具虽有硬性上限或模型路由降级，但都发生在请求层面，而“代码调用模型的地方”才是成本真正产生的地方。

由此他们提出几条第一性原理:

• token 是成本单位：既然按 token 收费，就必须用 token 来衡量价值；
• 成本产生在模型调用边界，追踪就必须做到那里；
• 归因(attribution)是前提：不知道是哪个智能体、哪次运行发起的调用，就谈不上控制——你只知道大概哪里出了问题，却无法追溯或缩小范围；
• 策略先行，停机是最后手段：发现某个循环过度运行或上下文增长失控，应该有策略当场解决那个具体问题，只有穷尽了这些手段，才由预算封顶触发停机。

TokenOps 怎么设计

一个关键的有意决策：控制平面是带外(out of band)的，完全不干扰你的代码。系统分三层：最左是你自己的智能体运行时；中间是桥接层；右边是控制平面，也就是系统的大脑。

桥接层的心脏是 boundary 注解：拿任意一个方法——不管你用 LangChain 还是别的框架——加上 boundary 注解，它会做两件事：一是追踪输入输出，上浮到控制层记为账本条目(附上 agent run ID 等属性)；二是充当一条下行通道，让控制平面能即时调整智能体的行为，好在预算内塞进更多运行。“我们不是一条单向的高速公路”。下行动作由 governor 节点接收执行——它知道你作为开发者允许对智能体做哪些动作，并以非破坏性的方式应用，控制平面因此不能对你的智能体随意行事。

控制平面包含：segment(按归因维度划分用户群，比如按“cohort 是 AIE 2026”建群，在群这一层级设预算，不必把一切都限制在智能体或单次运行层级)、ledger(一次运行的所有追踪集中一处)、budgets(时间窗口内针对特定 segment 或运行的静态阈值)、actions 和 policies(把预算和动作分组，针对特定 segment 或运行设置并执行)。

具体代码改动很小：只需在已有方法上加注解，不需改代码逻辑；控制平面运行在你自己的租户里，不用担心数据泄露。

演示与实测数据

测试台是一个双智能体工作流：研究智能体可随意用搜索工具查网络，把发现交给总结智能体生成研究报告。三个场景层层递进：

1. 预览模式：所有策略照常运行，但不执行强制动作——运行正常完成，仪表盘上能看到成本预算、cost guard 等策略都执行了。这是为了安全上线：先放进生产环境测试护栏、调整护栏、确定阈值。
2. halt 行为：打开治理后，智能体超出分配的预算，被立即终止——一种熔断器式的方法。
3. steer 行为(他们真正加价值的地方)：预算略高但仍不够时，cost guard 介入。它看两个指标——已消耗多少预算、消耗 token 的速度——据此预测你会在运行结束前耗尽预算，于是向系统指令注入提示，简单到像“嘿，你预算快用完了，确保输出更简洁、更概括”。不杀智能体，而是引导它的行为落在预算内。

基准测试在 browser use 和 MetaGPT 两个开源仓库上做的，跑了多轮迭代、压力测试、难易场景：启用 TokenOps 完整策略套件后，平均支出下降近 78%;对比简单限流(无论如何都会杀死运行)，完成率从 67% 提升到约 96%。策略目录覆盖三大类失效模式：支出管理、上下文管理(上下文压缩、工具输出缩减)、循环检测与进度检测。

下一步：自学习

他们设想的最终状态是：账本在持续更新，在控制平面内加一个自学习模块，让它审视账本并自问“什么样的失效模式我仍然捕获不了”——然后要么基于仍然失控的成本即时生成新策略，要么优化现有策略的参数，让未来的失控成本被管理得更有效。

本集带走

• 控制成本要下到智能体运行层，不是请求层：模型网关的硬上限和路由都在请求层面，而成本产生在代码调用模型的边界——这是现有工具缺失的一环。
• 归因先于控制：不知道哪次运行、哪个智能体在花钱，就什么都管不了；有了归因，才能按 segment、智能体或单次运行做粗细不同的预算。
• steer 优于 halt:超预算别急着杀运行——根据已耗预算和消耗速度预测是否将耗尽，向系统指令注入“输出更简洁”之类的引导，能在预算内完成任务(完成率 67%→96%)。
• 预览模式先行：强制措施上线前，先让策略空跑、调好阈值，再真正启用治理。
• 接入成本可以很低：带外设计 + boundary 注解，不改代码逻辑，控制平面跑在自己租户内。=金句= 00:40 | Unknown And I don’t think that’s a problem right now because right now the industry is valuing, you know, token maxing that is like spending the most amount of tokens for exploration for all of those purposes. ZH | 我认为这现在还不算问题，因为现在业界推崇的是 token maxing,也就是为了探索等各种目的花最多的 token。

00:55 | Unknown And people are proud to call themselves token billionaires. ZH | 人们还以自称 token 亿万富翁为荣。

01:13 | Unknown Who spent all the tokens? ZH | 到底是谁花光了所有 token？

03:54 | Unknown But we’ll instead talk about the first principles of how, you know, we can design a system which is actually true enough to solve the problem from the very root. ZH | 但我们想谈的反而是第一性原理，也就是我们如何设计一个足够真实的系统，能从根源上解决这个问题。

04:44 | Unknown We can’t, you know, control it, right? ZH | 我们就没法控制它，对吧？

06:31 | Unknown You know like monitors you at the run instead like if you see we need something which can control the loop between like the agent call between the tool and the agent something you know which can ZH | 你知道的，在运行时监控你的东西，你看，我们需要某种能够控制智能体调用与工具之间循环的东西，某种可以

09:06 | Unknown An out of bound plane. ZH | 一个带外的控制平面。

09:10 | Unknown So, if you see here that out of the bound plane has three modules which I will be talking about the first one being instrumentation. ZH | 所以，你看，这个带外平面有三个模块，我会逐一谈到，第一个是插桩。

12:39 | Unknown This is where the entire intelligence lies. ZH | 这就是全部智能所在的地方。

12:42 | Unknown We want the control plane to be able to tweak the behavior of the agent on the fly to ensure that we are able to squeeze in more runs inside our budget gap, right? ZH | 我们希望控制平面能够即时调整智能体的行为，以确保我们能够在预算缺口内塞进更多的 run,对吧？

13:22 | Unknown That is where the third node, the governor node comes in. ZH | 这就是第三个节点，governor 节点登场的地方。

13:33 | Unknown So that’s the first three. ZH | 所以这就是前三个。

14:56 | Unknown The second part where we are adding value is the steer type actions. ZH | 第二个我们正在增加价值的部分是 steer 类型的动作。

17:45 | Unknown So that’s the simple circuit breaker sort of a methodology. ZH | 这就是一种简单的熔断器式的方法。

19:01 | Unknown And the results we see are the average spend goes down by almost 78% with token ops enabled with the full policy suit that we have today. ZH | 我们看到的结果是，在启用 TokenOps 以及我们现有的完整策略套件的情况下，平均支出下降了近 78%。

19:17 | Unknown So with the reduced average spend, what you get is you get an uplift in that completion percentage from 67% to roughly 96%. ZH | 所以在降低平均支出的同时，你得到的是完成百分比从 67% 提升到大约 96%。

20:26 | Unknown And then based on that, it can do two things. ZH | 然后基于此，它可以做两件事。

20:26 | Unknown One is it can enhance, it can generate new policies on the fly based on the missing or the still runaway costs or it can refine the existing parameters for the existing policies that are there so that the runaway costs are managed more effectively in the future. ZH | 一是它可以增强，它可以基于缺失的或仍然存在的失控成本即时生成新策略，或者它可以优化现有策略的现有参数，以便失控成本在未来得到更有效的管理。

我们看到的结果是，在启用 TokenOps 以及我们现有的完整策略套件的情况下，平均支出下降了近 78%。
And the results we see are the average spend goes down by almost 78% with token ops enabled with the full policy suit that we have today.
—— 嘉宾 · [19:01]

所以在降低平均支出的同时，你得到的是完成百分比从 67% 提升到大约 96%。
So with the reduced average spend, what you get is you get an uplift in that completion percentage from 67% to roughly 96%.
—— 嘉宾 · [19:17]