trace
集里怎么说它
- 《做 evals 不是写单元测试，是从看数据开始的错误分析》(13:57起):本集说 trace 是事件序列日志的工程术语，包含系统提示词、工具调用、用户对话等完整交互记录，是错误分析的基本数据单元。
- 《Clay 的智能体矩阵：如何为数十亿次运行建评估》(01:41起):本集把它说成：智能体运行记录，量大到不可能人工全看；生产 traces 被引擎批量分析加人工翻看，并要反哺离线 eval。
- 《模型不再是护城河，谁在围绕模型建「自己的智能」》(20:26起):本集说 trace 是复利学习循环的记录系统,展示智能体每一步做了什么,Engine 就坐在追踪记录之上工作。
- 《文字稿看着没问题,通话却出事了——语音智能体的调试困境》(04:04起):本集核心方法：把音频、转录文本、trace 放进同一会话视图，逐个 span 可见、内联播放音频、看工具调用与指标的关联；「日志会说谎」，只有 trace 能揭示真实失败。
- 《为什么做一个评估平台比看起来难得多》(10:55起):本集说智能体 trace 是很棘手的半结构化 JSON，单次交互可达几百兆，普通云数据仓库在这种体量下会崩溃，是评估平台难做的核心原因。
- 《用一个智能体去修智能体:LangChain 如何打造 Engine v2》(10:34起):本集反复强调 trace 是智能体调试的基本单元:V1 擅长在单条 trace 里找幻觉、坏工具调用、循环调用、上下文爆炸;V2 升级到跨 trace 看指标趋势和低效路径。
- 《让 AI 智能体越用越聪明：LangChain 团队谈“会学习的记忆”》(03:18起):本集说每次运行产生追踪记录，它不只是日志，而应从证据转化为信号来源
① 提到它的金句
5 条
当我们试图请求一个 LLM 做这个错误分析时，我们通常发现它只是说追踪看起来很好，因为它没有理解某样东西是否可能是坏的产品味道所需的上下文。
指向原始笔记的链接
What we usually find when we try to ask an LLM to do this error analysis is it just says the trace looks good because it doesn’t have the context needed to understand whether something might be bad product smell or not.
—— Shreya Shankar · [24:09]
而且如果你看那条指数曲线，那个时间点由 Claude 编写的代码百分比，如果你只是沿着线画过去，很明显我们在年底就会超过 100%，即使这完全不符合直觉。
指向原始笔记的链接
If you look at the exponential, the percent of code that was written by Claude at that point, if you just trace the line, it’s pretty obvious we’re going to cross 100% by the end of the year, even if it just does not match intuition at all.
—— Boris Cherny · [14:40]
如果你不用 responses API,你会损失 20% 到 30% 的质量，因为你在不同调用之间不保留思考轨迹。
指向原始笔记的链接
If you are not using the responses API, you are missing out on 20% or 30% of the quality because you don’t retain the thinking trace between different calls.
—— Connor Hegey · [21:24]
随着我们转动这个飞轮，我们可以追踪到我们的销售赢单率从不到 10% 提升到超过 50%，因为这些品牌在别处找不到那种水平的能力。
指向原始笔记的链接
And as we’ve spun that flywheel, we can trace our win rate in sales from sub 10% to over 50% because these brands can’t find that level of capability elsewhere.
—— Sean · [12:42]
我们想要努力实现的目标或系统，是让追踪记录不再只是一份日志，而成为信号的一个来源。
指向原始笔记的链接
The goal or the system that we want to work towards is where a trace stops just being a log and becomes a source of signal.
—— Jake Broekhuizen · [04:01]
② 出现在这些集
7 集
- 《做 evals 不是写单元测试，是从看数据开始的错误分析》 — 作为概念
- 《Clay 的智能体矩阵：如何为数十亿次运行建评估》 — 作为概念
- 《模型不再是护城河，谁在围绕模型建「自己的智能」》 — 作为概念
- 《文字稿看着没问题,通话却出事了——语音智能体的调试困境》 — 作为概念
- 《为什么做一个评估平台比看起来难得多》 — 作为概念
- 《用一个智能体去修智能体:LangChain 如何打造 Engine v2》 — 作为概念
- 《让 AI 智能体越用越聪明：LangChain 团队谈“会学习的记忆”》 — 作为概念
③ 关联
点进去有真内容 —— 本页主要出口
评估 · 智能体 · LangChain · LangSmith · 可观测性 · LLM 当裁判 · harness · ChatGPT · Anthropic · 沙箱