跨国深谈← 返回←token 无限量供应：用自动选模型省下 2.5 倍成本的编码智能体

token 无限量供应：用自动选模型省下 2.5 倍成本的编码智能体

关联

人物 Zilvinas · Laurent

公司 Kimchi · Cast.AI · Anthropic · Claude

概念 编码智能体 · token · harness · 沙箱 · 开源 · Kubernetes

这一集是一场大会演讲,主角是两位:Laurent,Cast.AI 的联合创始人兼总裁;Zilvinas,负责 Kimchi 编码平台整个工程团队的负责人。他们聊的是一件所有用 AI 写代码的团队都头疼的事:token 成本失控。

钩子是两个真实的数字。印度有一家公司,仅一个月就在 Anthropic 上花了 5 亿美元;Uber 的 CTO 发推说,过去四个月用掉了 Anthropic 一整年的全部预算。

企业的应对方式是限制开发者的 token 用量——但 Laurent 说,这种限制对开发者的感觉,就好比给你一台笔记本,电池只撑一小时,而且一天只能充一次电。Kimchi 的立场恰恰相反:管理者的工作不是阻止开发者用编码智能体,而是让 token 无限量供应、而且便宜。

按每个 token 定价是错觉,要按任务算钱

他们整套方案建立在一所大学白皮书的一个发现上:同一个任务、同样质量的前提下,各模型的真实成本差异巨大。看每 token 单价,模型都挺便宜;但看「完成同一个任务要花多少钱」,差别惊人——某模型每百万 token 只要 3.5 美元,看起来便宜,完成整个任务却要 705 美元;另一个每 token 成本 1.5,任务成本是 148 美元。

由此他们的产品思路是:造一个自动化的框架(harness,即调度和包装模型调用的执行框架),基于任务的结果,在合适的时机为任务挑合适的模型。

用了三个月:成本省 2.5 倍,token 反而多用 1.5 倍

结果是他们自己内部的真实数据:300 名员工(三分之二是开发者)用了三个月编码智能体,相比直接用 Claude 节省了 2.5 倍成本。图表上,紫线是本应支付给 Claude 的按日账单,蓝线是实际支付的——结果相同,但 token 数量增加了 1.5 倍,给 Claude 的成本却下降了 1.5 倍。Laurent 强调这正是管理该做的事:因为成本被压下来了,团队才敢真正不限量地用。

更反直觉的是模型选择的演变。Laurent 说,人类不可能盯着这种变化随时去测试、适应一个新模型,但一个痴迷于 token 成本的自动化智能体会。

Ferment:长任务自动跑,评分不到 B 不算完成

Zilvinas 接着讲实现。他们最初就是因为半年前 Claude 账单飙升,才不得不给自己造这个框架。

其中有个叫 Ferment 的构造,专为长时间运行的任务设计——这类任务平均每两三个小时才需要人类介入一次。流程是:你回答框架问的一堆问题,它把任务分解成里程碑,自主编码超过两小时;构建坏了就改了重建,反复「发酵」;周期结束会给出输出评分。

关键机制是:一个成果(artifact)只有在评分至少达到 B 级时才被视为完成;如果你不满意,可以让智能体回去修,争取拿到 A。也就是说,框架看的是结果,并根据结果质量来优化 token 开销。目前它有意止步于 staging 环境(预发布环境)——他们仍认为上线生产前需要人类把关,但终极目标是直接看生产指标和可观测性数据自动发布。

读代码已经不够了,Teleport 让任务在你合上笔记本后继续跑

Zilvinas 提出一个判断:随着智能体工程越来越多,变更集里的代码改动多到难以逐行阅读——想象产品经理提交了一个 2000 行的 PR,你要审查的不只是差异,还有他想达成的意图和给智能体的规格说明。所以光读代码不够了。

于是他们造了 Kimchi Teleport:合上笔记本,任务被传送到远程环境的沙箱里继续跑,沙箱跑在超大规模云厂商(这个例子是 Google)的 Kubernetes 集群里,本地感觉完全一样,只是不跑在你的电脑上。这个点子来自同事在飞机上写代码时设备断了、工作全丢的经历。效果:62% 的工程师现在写代码只用 Teleport——回家了它在跑,在路上它在跑,度假不看它它还在跑。

Studio:给团队用的看板,谁有空谁「接单」

Teleport 偏个人用,他们又做了 Kimchi Studio——「给团队和企业的 Teleport」。它把所有正在运行的智能体会话可视化为一块看板:任务计划可以给同事、产品经理审阅,避免提示词执行到生产环境才发现需求是错的;进行中的会话如果请求审阅,团队里任何人都能说「我来接」,回答完它回到进行中,直到下一个进入审阅。一个五到十人的团队可以同时挂很多会话,按看板风格流转——哪些在评审、哪些进行中、哪些在 backlog。

最后是可用性:harness 完全开源;Studio 和 Teleport 需要一个 Google 账号,五分钟能装好,想开多少会话就开多少。

本集带走

• 按「任务成本」选模型,别按 token 单价:每 token 便宜的模型,做完同一个任务可能贵好几倍(705 美元 vs 148 美元)。比较模型必须锁死「同任务、同质量」。
• 成本压下来才有资格谈「不限量」:省 2.5 倍的同时 token 用量涨 1.5 倍,说明团队用得更狠了——这是管理者该追求的方向,而不是设限额。
• 长任务要有客观验收线:任务拆里程碑、自动构建自检,输出评分不到 B 不算完成;验收标准先于自动化存在,智能体才能放心跑两三个小时不等人。
• 任务跑在云端沙箱而不是本地:合上笔记本工作不中断,本地只做「感觉一样」的接口;团队再看板共享会话,谁有空谁接手审阅。

就好比,嘿,你可以用你的笔记本,电池能撑一小时,而且一天只能充一次电。限制开发者的 token 用量就是这种感觉。
It’s like, hey, you can use your laptop. You have an hour battery. And you can only charge once a day. That’s how it feels to limit the amount of token for a developer.
—— Laurent · [01:44]

我们的工作不是阻止开发者使用编码智能体,而是确保他们可以随心所欲、尽其所愿地使用它,完全不受限制。
Our job is not to prevent the developer to use Coding Agent. Our job is to make sure they can use it as much as they want for as long as they want in a completely unlimited fashion.
—— Laurent · [02:17]

你觉得我们会作为人类盯着这个看吗?绝对不会。但一个自主的框架、一个痴迷于 token 成本的自动化编码智能体,就会做到这一点。
Do you think we look at this as human? Absolutely not. But an autonomous harness, an automated coding agent that is obsessed with token costs is going to do just that.
—— Laurent · [06:46]

我们仍然认为在进入生产环境之前需要有一个小小的人类在环中,至少目前是这样。我们都知道终极未来是要避免这一点。
We still believe there’s like some little human that needs to be in the loop before going to the production, at least at this point. We all know that the ultimate future is to avoid that.
—— Zilvinas · [10:25]

我们所相信的是,仅仅阅读代码已经不够了。
What we believe is that reading code is not enough anymore.
—— Zilvinas · [11:01]