跨国深谈← 返回←智能体出错的账，该谁付？Reducto 删掉重做 MCP 的教训

智能体出错的账，该谁付？Reducto 删掉重做 MCP 的教训

关联

人物 Abhi Arya

公司 Reducto · Claude Code

概念 智能体 · 智能体体验 · MCP · 销售管线 · 不确定性

Reducto 产品负责人 Abhi Arya 讲了他们如何删掉第一个 MCP 服务器、推翻重来的过程，核心是一个问题：[[智能体|智能体]]自信地犯错时，谁来发现、谁来买单。

Reducto 是一家处理非结构化文档的公司，3 年处理了超过 30 亿份文档，客户包括 Harvey、ScaleAI。

他们做的事，是在模型和企业数据之间加一层，把乱七八糟的扫描件、排版复杂的文件，变成 AI 能用的干净数据。

智能体优先到底是什么意思？

Abhi 的女朋友问他什么是智能体优先软件，他发现自己一时答不上来。

优化提示词、写好接口，这些其实都是在优化模型，不是把智能体放在第一位。

他认为这是个架构问题，而架构问题归结为一句话：智能体犯错时，谁付代价？

他分了三类。第一类是全自动模式：写个提示词，让智能体随便干。

它一定会犯错，而且犯错时非常自信，你根本看不出来，最后是你替它向客户买单。第二类是用户优先：

给用户一堆按钮和开关，再外挂一个能力很弱的智能体，本质上就是个聊天机器人——用户的能力和智能体的能力都被封了顶。

第三类是他认为正确答案：为用户服务的智能体体验——智能体有丰富的能力，能真正帮人干活，同时人还能验证它做了什么。

第一个版本：演示很惊艳，一上手就崩

他们做的是自动化文档流水线：解析、分类、切分、提取。销售团队天天泡在配置界面里，而不是琢磨结果。

于是 Abhi 用 Claude Code 搭了个最小可用版本，把应用里每个接口都包成一个 MCP 工具，全塞进一个大文件。他精心设计了提示词，发到 Slack，效果很好。

但这什么也说明不了——他知道自己想演示什么，那是被精心安排的表演 。真正的考验是把工具发给全团队。结果立刻崩了：

有人喂进去一段客户通话的半成品记录或一个 Notion 页面，智能体就闷头把整条工作流从头到尾搭完，还信誓旦旦地说一切正常。

可无论用户还是智能体，都说不清这条流水线到底干了什么。

这就是全自动模式在生产环境里的当头一棒：智能体从不承认自己不确定，人也没有任何地方可以验证。

修复办法：删掉整个文件，少给工具但给对工具

你可能以为解决办法是把提示词写得更细。Abhi 说，真正该改的是架构。他一个提交就把那个大文件整个删了。

替换它的不是更多工具，而是更少的、但承载了真实工作结构的工具。

举个例子：常见需求是把分类接口接到提取节点。

以前是让模型靠猜、靠提示词提示去拼装；现在做成一个分类转提取工具，一步到位，后续步骤自动衔接。

智能体没机会在已知正确的环节上自由发挥。

又因为智能体没有记忆状态，他们加了一个快照工具，一次调用就能拿回整条流水线的实时状态和具体错误代码，智能体去查实际存在的东西，而不是瞎编变量名。

结果是：把上下文从提示词搬进结构里，智能体从瞎猜变成了查证。而人能看懂每一步，也能向下游解释智能体的输出。

建好了流水线，问题又出现在运行时

构建阶段的问题解决了，运行时的问题冒出来了：如果产出本身就错了——比如数据结构很糟，或者用户没说清用途——谁能发现？

智能体出错是安静地出错：不是报个崩溃，而是流水线跑完 100 份文档，可能漏掉了第 30 页的一个扫描件，而且没人知道。

他们的解法是把不确定性变得可见。

Reducto 的提取本身输出置信度分数和边界框，他们把这类信息喂回模型，让提取结果随时间越来越准。

同时要求智能体暴露自己的不确定：

遇到一个字段有两种读法，不许猜，也不许卡住，而是要问用户我看到了两种理解，你指的是哪个。

在评估中，凡是基于站不住脚的假设完成任务，一律判失败；奖励提问，惩罚硬猜。

判断权不全在智能体手里。每次生成新东西，它都要向用户解释做了什么、为什么，由用户来审。

最强的智能体，放在人就在旁边的地方

回头看这些失败，形状都一样：智能体的自主权和访问权限，超过了人能验证的范围。

Abhi 的结论是，智能体在搭建流水线、生成数据结构、组织上下文时最强，而这时出错也最便宜——因为人就在旁边。

他们还做了埋点：

记录每个会话里的提示词，让销售团队导出自己的 Claude Code 会话，看人在哪里推翻了智能体、模型哪里信心不足、哪里提了问。

这些数据流回长期指导规则，系统靠多搭流水线变得更会搭流水线，不需要人工重写，形成了一个按组织、按用户自我改进的循环。

一个意外的信号：他从没要求销售团队用这个东西，只是在 Claude 企业版里把工具暴露出来。

销售自己在客户通话前，先用 Circleback 和 Slack 了解客户，再用这个工具提问、搭流水线，最后敢把它带到高价值客户面前演示——因为演示不光是能跑，人还能说：

这是我搭的，你来看。

本集带走

• 智能体优先不是模型问题，是架构问题，核心是：智能体自信地犯错时，谁发现、多快发现。
• 全自动模式让用户替智能体的错误买单；纯用户优先则把智能体退化成聊天机器人，两头都受限。
• 修复之道是少而结构化的工具：把上下文从提示词搬进结构，让正确路径成为最简单的路径。
• 让不确定性可见：模型遇到歧义要提问而不是猜，最终判断权留在能负责的人手里。
• 智能体最强、出错最便宜的地方，是搭建和生成阶段——因为人就在旁边。

所以我认为这个结构、这个架构其实归结为一个问题，那就是：谁为智能体犯错买单？
And so I think that structure, that architecture really comes down to one question and that is who pays for the agent being wrong?
—— Abhi Arya · [02:35]

而当它搞砸的时候——它肯定会搞砸——你完全不会察觉，因为它对自己在做的事情非常自信，而你要为它的错误买单，对你的客户、你的用户等等。
And when it messes up, which it will, you won’t have any idea because it’s really confident about what it’s doing, and you’re the one that’s paying for it being wrong to your customers, to your users, et cetera.
—— Abhi Arya · [02:55]

最后一个桶，也是我认为会胜出的桶，是服务用户的智能体体验。
And lastly, the bucket that I think wins here is agent experience in service of the user.
—— Abhi Arya · [03:27]

这个框架使智能体体验不再是一个关于模型的问题，而更多是一个关于上下文、能力和整体自我提升的问题。
This framing is what turns agent experience into less of a question of the model and more of a question of context, capability, and overall self-improvement.
—— Abhi Arya · [03:47]

现在智能体没法在我们已知为真的部分上自由发挥了。
Now the agent doesn’t get to freelance the parts that we know are true.
—— Abhi Arya · [07:29]

智能体不再猜测，开始引用。
The agents stopped guessing and started referencing.
—— Abhi Arya · [08:00]

智能体本身非常自信地错了，而智能体所拥有的不确定性完全不可见。
The agent itself is very confidently wrong and the uncertainty that the agent has is completely invisible.
—— Abhi Arya · [09:30]

在我们的系统里，或者说在 Reducto，失败携带着信息。
In our system, or with Reducto, failures carry information.
—— Abhi Arya · [09:46]

所以我们奖励的是提问，而不是猜测。
So we rewarded asking instead of guessing.
—— Abhi Arya · [10:47]

智能体基本上满足的是你所写的东西，而不是你想要的结果。
The agent basically satisfies what you wrote and not the outcome that you wanted.
—— Abhi Arya · [11:14]

而在底层，它们基本上是同一个形状：智能体拥有的自主权和访问权限超出了人类所能验证的范围。
And underneath, they’re basically one shape where the agent had more autonomy and more access than the human could verify.
—— Abhi Arya · [12:02]

智能体只是盒子里的智能，而你围绕它们构建的 harness 才是赋予它们能力、在下游交付这些成果的东西。
Agents are just intelligence in a box and the harness that you surround them with is what provides them with the ability to deliver these outcomes downstream.
—— Abhi Arya · [12:59]

在我们不用手工重写的情况下，这就变成了每个组织或每个用户构建这些流水线时的一个自我改进循环。
Without us rewriting by hand, this then became a self-improving loop per org or per user that was building these pipelines.
—— Abhi Arya · [13:45]

但除此之外，关键在于：当你的智能体自信地出错时，谁会发现？他们多快会发现？
But beyond that, it’s when your agent is really confidently wrong, who finds out and how fast do they find out?
—— Abhi Arya · [15:54]

如果你为此而构建，那么你就能构建出人们真正愿意托付实际工作的东西。
If you build for that, then you can build for something that people will actually trust with real work.
—— Abhi Arya · [16:03]