轨迹 (traces)
集里怎么说它
- 《Satya Nadella:别只盯着模型,私有评估和智能体才是企业的护城河》(03:53起):本集将其定义为人与智能体配合工作时沉淀下来的操作记录。它是训练「公司老手智能体」的核心资产,理应被计入公司的资产负债表。
- 《拥有你自己的智能:Harness、Eval 与数据飞轮》(09:44起):本集的数据飞轮核心物料:运行智能体收集 trace,再用在线评估器或微调的便宜小模型自动筛选,Engine 就坐在 trace 之上做筛选、识别模式和给出修复。
- 《DoorDash 的评估平台实践:让非工程师也能给 AI 打分》(04:18起):本集把追踪说成质量循环的起点:捕捉智能体和 LLM 实际输出的会话与追踪记录,存于遥测层,可经 MCP、SDK 和 API 访问。
- 《让智能体自己研究自己:Weights & Biases 的 ARIA 评估飞轮》(02:29起):本集说轨迹是最核心的资产——论点是「先生成海量 traces,再决定怎么用」,生产环境的每次失误或亮眼表现都会变成评估框架里的一个新任务。
① 提到它的金句
6 条
运行智能体,获取 trace,看到模式,修复。
指向原始笔记的链接
Run agent, get traces, see patterns, fix.
—— Harrison Chase · [19:06]
如果有一个实操配方我希望你们带走,那就是:冻结测试框架,定义场景,记录轨迹,给行为打分,并且只暴露一个很小的策略面。
指向原始笔记的链接
If there’s one practical recipe I want you to take away, freeze the harness, define scenarios, log traces, score behavior, and expose only a small policy surface.
—— Erina Karati · [19:36]
我可以基于所有那些洞察生成一个 PR,但我并不给他们访问底层 trace 的权限。我给他们的是对这些 trace 的分析的访问权限。
指向原始笔记的链接
I can generate a PR based off of all of those insights, but I don’t give them access to the underlying traces. I give them access to the analysis.
—— Doug Guthrie · [98:38]
第二点,你真的会想拥有自己的数据层,因为现在比如一年前的轨迹就是有价值的上下文,你不会想让它们被锁在某个更商业化的系统里或类似的东西里。
指向原始笔记的链接
And two, you want to really own the data layer because now the traces of, for example, a year ago are interesting context, and you don’t want them to be locked up in a more commercial system or something where
—— Marc Klingen · [16:20]
从那以后,Engine 已经扫描了超过 7000 万条追踪记录,并为今天正在使用它的众多客户创建了超过 21000 个问题。
指向原始笔记的链接
And since then, Engine has scanned over 70 million traces and has created over 21,000 issues for the many customers that are using it today.
—— Ben · [01:31]
如今,他们并不是调用 Claude 的 API 获取轨迹再喂进去,而是那个 RL 环境制作者和销售者的作坊式产业,实际上在充当一条蒸馏管道,因为他们所有人所做的都是让 Claude 来创建这些 RL 环境。
指向原始笔记的链接
These days, it’s not that they’re calling the Claude API and getting traces and feeding them in, but rather the cottage industry of RL environment makers and sellers is in fact functioning as a distillation conduit because what they’re all doing is having Claude create these RL environments.
—— 嘉宾 · [12:24]
② 出现在这些集
4 集
- 《Satya Nadella:别只盯着模型,私有评估和智能体才是企业的护城河》 — 作为概念
- 《拥有你自己的智能:Harness、Eval 与数据飞轮》 — 作为概念
- 《DoorDash 的评估平台实践:让非工程师也能给 AI 打分》 — 作为概念
- 《让智能体自己研究自己:Weights & Biases 的 ARIA 评估飞轮》 — 作为概念
③ 关联
点进去有真内容 —— 本页主要出口
智能体 · 评估 · harness · Claude Code · 可观测性 · 沙箱 · Saragawa · Harrison Chase · Swaroop Chitlur Haridas · Zubin Aysola
