跨国深谈← 返回←拥有你自己的智能：Harness、Eval 与数据飞轮

拥有你自己的智能：Harness、Eval 与数据飞轮

关联

人物 Harrison Chase

公司 LangChain · DeepAgents · LangSmith Engine · Harbor · Claude Code · Codex

概念 harness · 智能体 · 上下文 · 评估 · 可观测性 · 认知架构 · 中间件 · 轨迹

这一集聊的是每个认真做 AI 产品的人都会撞上的问题：当智能体成为你业务的核心，你该怎么「拥有」它——自己掌控它的每一步，而不是把它黑箱外包给某个大厂的现成工具。主角是 Harrison，LangChain 的联合创始人兼 CEO，他从 2022 年 GPT-3 时代就开始思考怎么把模型变成真正的协作者。

他给出的框架很清晰：一个智能体由三部分构成——模型、上下文、harness（围绕模型的运行框架，负责编排和调度）。想真正拥有自己的智能，三块都要握在手里。

模型那边他不多讲，只强调一点：要能随时切换模型，就像当年的「云无关」——既避免被锁定，又能在更好的模型出现时立刻用上。上下文（记忆、语义知识、历史对话）也要自己拥有，因为它决定智能体的个性化。而这一集的重心，是第三块：harness。

智能体的核心就是一个循环

Harrison 先把智能体祛魅：所谓智能体，本质就是「一个在循环中运行的 LLM，不断调用工具」——请求进来，模型生成回复，回复里如果要调工具就调用，把结果传回去，继续循环。他说这是今天市面上几乎所有智能体背后的核心架构。

那各家的高级 harness 差在哪？差在你往这个循环里的哪些节点插东西。

LangChain 的做法是中间件：可以在智能体启动前、每次模型调用前、每次工具调用前后运行自己的代码。摘要化就是典型例子——模型被调用前检查上下文是否太长、太长就压缩；上下文卸载（把大的工具调用结果转储出去、不塞进上下文窗口）则是包装工具调用实现的。

沙箱、文件系统、子智能体、记忆，全都是这么挂上去的。很多编码智能体的 hooks 和 plugins，本质上就是这个东西。

另一种定制路线是更明确的「认知架构」——手工设计固定的执行步骤（比如深度研究：先生成子问题、再扇出、再执行）。这在 2023、2024 年很流行，因为当时模型不够强、跑不动自由循环；现在很多这类定制已经下沉进 harness，但特定流程仍在用。他的建议是：从通用 harness 起步，最快拿到价值；等聚焦到想做到卓越的用例，再加门控和检查把行为引向特定方向。

自建还是用现成？看你在不在分布内

被问到最多的问题是：用 Claude Code、Codex 这类现成 harness，还是自己造？他的判断标准是分布：「你越是处于模型训练内容分布之内，现成的 harness 就越好用；一旦越来越偏离分布，你就需要调整 harness」。

这个判断还有个精妙的分层用法。以法律 AI 为例：整体任务是分布外的，需要自定义 harness，但其中的子任务——比如编辑文件——是分布内的。

而且 OpenAI 和 Claude 的模型是用不同方式训练编辑文件的，各自最擅长的方式不同。所以正确做法是：整体 harness 可以定制，但把这些分布内的部分尽可能贴近模型层。DeepAgents 里的「模型配置文件」就是这么做的——根据所用模型在不同文件编辑实现之间自动切换。

Eval 和可观测性：让智能复利增长

第二大部分是评估（eval）和可观测性。他引用 Satya 两周前的一篇文章，三句话让他印象深刻：创建你的私有 evals，因为「eval 定义了组织内部什么算是好的」；保留组织记忆的所有权——轨迹、反馈、决策、机构性上下文；建立你自己的持续学习循环，「一台爬坡机器，让你的 AI 投资为你的公司复合增值」。

具体怎么做？给关键任务智能体建 benchmark——他用它来捕捉回归，或者在上面爬坡。

正在成为行业标准的是 Harbor，一个开源 eval 运行器，出自 TerminalBench2 的作者。结构很简单：一个任务包含环境（Docker 文件定义的沙箱）、一个用来完整性检查的黄金方案、测试脚本（验证器，可以跑代码、单元测试，也可以让另一个 LLM 或智能体当裁判）、以及给智能体的提示词。跑完就能横向比较不同 harness、不同模型、不同推理力度的表现——而且不只看准确率，延迟和成本也要一起追踪。

可观测性则被他称为「重要但被严重低估」。智能体搞砸，一定是某次 LLM 调用出了问题，原因无非两个：模型不够好，或者模型收到的上下文不够好——「而多数情况下是第二个」。所以能看到进模型上下文窗口的到底是什么、上下文是怎么一步步累积的，是调试的关键。

数据飞轮：跑、看、修，并且自动化

把 eval 和可观测性串起来，就是一个持续改进的循环：构建智能体 → 运行收集 trace（追踪记录）→ 筛选整理数据 → 在数据上跑实验改进。反馈可以来自环境（他特别指出，智能体的 UX 设计被低估了——用户不会点赞点踩，但聪明的 UX 设计能自然收获大量反馈），也可以合成：用在线评估器自动判断每条 trace，为了不用对每条 trace 都跑一遍 Opus 那样的贵模型，他们微调了便宜的小模型来干这活。

改进可以落在三块里的任何一块：harness 工程、模型微调、记忆。他们还发布了 LangSmith Engine——一个坐在你的 trace 之上的智能体，自动筛选数据、识别常见问题模式、建 issue 看板、并直接给出修复：改提示词、改上下文、甚至往 harness 里加代码。一句话总结这套飞轮：「运行智能体，获取 trace，看到模式，修复」。

问答里有几个很有意思的点。他们自己也在 dog food：Engine 跑在 Engine 上，通过 Slack 给自己发报告；还为 Engine 专门建了 benchmark，在上面跑 DeepAgents、Codex、Claude Code 对比。

结果发现 Codex 会非常激进地给自己写一堆小脚本去跑 trace，因此表现特别好——于是他们专门做了一轮冲刺，把这套打法融进 Engine 的核心 harness。这就是有 benchmark 的另一个好处：什么都拿上来跑一跑，谁有好招就抄回来。

关于 harness 未来会不会收敛成一种，他的诚实回答是「不知道」。目前看到的是：通用 harness 已经够好，起步阶段直接用现成的；越偏离分布越要定制，这是一个光谱——金融服务客户要可预测性，看到自主的 deep agents 直呼「太吓人了」，宁可要完全可控的认知架构。

OpenAI 和 Anthropic 在编程上都很强，却落在相当不同的文件编辑方式上，连他也解释不了为什么。如果哪天某个实验室真往生物这类垂直方向深耕，harness 可能就真的分化了。正因为变化快，eval 和可观测性才是最重要的那件事。

本集带走

• 三块都要握在手里：智能体 = 模型 + 上下文 + harness。模型要能随时切换避免锁定，上下文（记忆、历史对话）要自己拥有，harness 决定编排能力。
• 自建 vs 现成的判据是「分布」：任务在模型训练分布内（如通用编码），用现成 harness（Claude Code / Codex / DeepAgents）；越偏离分布（如法律、金融）越要定制。但分布内的子任务（如文件编辑）要保留原味——不同模型被训练的编辑方式不同，要贴近模型层适配。
• 从通用起步，逐步加约束：先上通用 harness 快速拿价值，聚焦用例后再用中间件加摘要、上下文卸载、门控检查；需要可预测性的场景才上完全定制的认知架构。
• 私有 eval 是护城河：eval 定义了「什么算好」。用 Harbor 这类开源运行器搭任务（环境 + 黄金方案 + 验证器脚本 + 提示词），同时追踪准确率、延迟、成本。
• 智能体出错先查上下文，再怪模型：多数故障是「喂给模型的上下文不够好」，所以必须能看到进上下文窗口的每一步是怎么累积的。
• 数据飞轮要自动化：跑智能体 → 收 trace → 筛选 → 实验改进，反馈可来自巧妙的 UX 设计或廉价的合成评估器（微调小模型当裁判，别每条 trace 都跑顶级模型）；谁有好招就抄回自己的核心 harness。

当每个人谈论智能体时，他们真正谈论的只是一个在循环中运行、调用工具的 LLM。
When everyone talks about agents, what they really talk about is just an LLM running in a loop calling tools.
—— Harrison Chase · [02:47]

harness 的主要工作是在正确的时机把上下文带给模型。
The main job of the harness is to bring context to the model at the right point in time.
—— Harrison Chase · [02:07]

我的回答通常是，你越是处于模型训练内容分布之内，现成的 harness 就越好用。
My answer generally is the more in distribution you are of what the models are trained on, then the better the off-the-shelf harness will be.
—— Harrison Chase · [07:19]

第一，创建你的私有 evals，因为 eval 定义了组织内部什么算是好的。
One, create your private evals because eval defines what good looks like inside the organization.
—— Harrison Chase · [09:39]

然后第三，创建你自己的持续学习循环，爬坡机器，它将让你的 AI 投资为你的公司复合增值。
And then three, you create your own continuous learning loop, hill climbing machine that will allow your AI investments to compound the value of your firm.
—— Harrison Chase · [09:52]

运行智能体，获取 trace，看到模式，修复。
Run agent, get traces, see patterns, fix.
—— Harrison Chase · [19:06]

我认为我们经常看到，你越偏离分布，就越会想要定制 harness。
I think we often see that the more out of distribution you get, the more you’re going to want to customize the harness.
—— Harrison Chase · [21:51]