跨国深谈← 返回←让 AI 自己改进 AI：Langfuse 创始人谈「自我改进的智能体」

让 AI 自己改进 AI：Langfuse 创始人谈「自我改进的智能体」

关联

人物 Marc Klingen

公司 Langfuse

概念 智能体 · 数据集 · 可观测性 · 自我改进智能体 · 隐式信号

Marc Klingen 是开源可观测性工具 Langfuse 的联合创始人。这次演讲里，他回答了一个很多团队都在问的问题：

模型越来越强，能不能把调优[[智能体|智能体]]这件又累又枯燥的事，也交给 AI 自己做？他的答案是可以，但人必须留在几个关键位置上。

做智能体应用，本质是一个循环

Klingen 说，做智能体和做普通应用不一样。它不是写完上线就结束，而是一个循环：

上线后追踪真实用户怎么用它，把问题整理成数据集，离线做实验、改实现，再评估改得有没有效，然后部署、继续观察 。

Langfuse 就是为此而生。

他解释，过去线上监控和数据科学实验是两套割裂的工具——数据集和线上真实情况不同步，你优化的方向就是错的。

所以需要一个把线上线下打通的新品类。

问题是，这个循环全是体力活：看追踪记录、更新数据集、想新的评估标准、提出假设、验证。

做得好的团队质量确实高，但代价是每周都要有人专门泡在数据里。

不同层次的循环，AI 正在逐层接管

他用了一个流行的心智模型：AI 系统是一层层嵌套的循环，最底层是预测下一个词，最顶层是人类设定方向。

2023 年只有代码补全这一层可用，2024 年多了一层，到 2025、2026 年，AI 已经能自己推理该修什么、提出修法、并验证是否有效 。

但人目前还守着四个关口：往数据集里加什么例子、怎么定义做得好、审查 AI 提出的改动、以及判断哪些失败模式值得管。

最后一点很微妙——智能体在生产环境里会发现各种奇怪的失败，但有些根本不重要，不值得为它过度优化。

一句大白话：边开飞机边画地图

为什么不能一开始就把目标定死、全自动跑？Klingen 的比喻很形象。

客户支持就是例子。老板说客户等太久、人力成本高，让 AI 全自动回复。

这是个很弱的目标，因为没人真正知道客服每天都在处理什么。

你只能在做的过程中，靠一个个错误案例搞清楚需求到底是什么。他称之为「边开飞机边组装地图」。

所以目标本身是移动的，人必须留在设定方向的循环里，否则 AI 会朝着错误的方向狂奔。

全自动不如人守关键点

他画了一张投入产出图：纯手动投入时间巨大但质量高；纯全自动几乎不花时间，但风险是「产生大量 token，却没什么意义」。

理想的中间态是：人只在最重要的步骤介入——定方向、改数据集和评估标准——其余枯燥的底层循环全部自动化。

而且质量反而可能更高：人看数据受限于自己的耐心，AI 能翻完多得多的错误案例。

信号也不必都靠人工标注。用户骂客服机器人、点这不对、内部审核员改写草稿，这些隐式信号都能自动流进改进循环。

一个真实案例：自动写更新日志的智能体

Langfuse 自己的工程团队用 AI 多、发布多，但更新文档和对外宣传跟不上。于是他们做了个「更新日志写作智能体」：

看到代码合并，就自动起草文档和日志的修改，提交成 GitHub 上的 PR，人审核通过或提修改意见，智能体再迭代 。

他们用编码智能体去分析这个写作智能体的表现，发现了具体问题：

事实准确，但清晰度低，而且会泄漏内部行话——客户不知道什么叫摄取管道，这些实现细节应该翻译成用户听得懂的语言。

接下来就是自动闭环：

智能体据此提议更新数据集和评估标准（专门测试是否泄漏行话），再提出新的实现方式，在更新后的数据集上做回测。

结果是 v2 版本在格式合规和准确性上持平，在用户友好语言上明显改善——正增量，合并上线 。

Klingen 说，这套跑法门槛不高：收集生产信号、记录详细执行轨迹，然后让智能体按天或按周定时循环处理新数据。

信号来源可以是用户反馈，也可以是应用内的人工标注。

两个连带的技术判断

这套玩法带来两个变化。一是数据系统要抗读：Langfuse 过去以写入为主（接收追踪和评估数据），现在 AI 能消化海量数据，读取量暴涨 。

二是数据层必须自己拥有：

一年前的追踪记录现在成了有价值的上下文，不能被锁在会采样、会短期删除的商业系统里——要长期保留、不采样。

本集带走

• 做智能体应用是一个循环：线上追踪、离线实验、评估、部署、再学习，线上线下数据必须打通。
• AI 已能自动提出修复方案、维护数据集和评估标准，但人应守住方向设定和改动审查这几个关口。
• 目标是移动的——边开飞机边画地图，全自动有朝着错误方向优化的风险。
• 隐式信号（用户抱怨、人工改写、审核意见）可以自动喂进改进循环，不必全靠人工标注。
• 自我改进的智能体需要可扩展、可长期持有、以读为主的数据层。

我认为这是团队谈论提升自身运作层次的一年，因为越来越好的模型把下游的一切都抽象掉了。
I think this is the year where teams talk about up-leveling, the level of where they operate themselves, where increasingly good models just abstract everything downstream.
—— Marc Klingen · [00:47]

但实际上，你维护的是你所优化的边界。
But really, you maintain the boundary of what you optimize against.
—— Marc Klingen · [05:38]

第二点，你真的会想拥有自己的数据层，因为现在比如一年前的轨迹就是有价值的上下文，你不会想让它们被锁在某个更商业化的系统里或类似的东西里。
And two, you want to really own the data layer because now the traces of, for example, a year ago are interesting context, and you don’t want them to be locked up in a more commercial system or something where
—— Marc Klingen · [16:20]