跨国深谈← 返回←trace

集里怎么说它

• 《做 evals 不是写单元测试，是从看数据开始的错误分析》(13:57起):本集说 trace 是事件序列日志的工程术语，包含系统提示词、工具调用、用户对话等完整交互记录，是错误分析的基本数据单元。
• 《Clay 的智能体矩阵：如何为数十亿次运行建评估》(01:41起):本集把它说成：智能体运行记录，量大到不可能人工全看；生产 traces 被引擎批量分析加人工翻看，并要反哺离线 eval。

① 提到它的金句

2 条

当我们试图请求一个 LLM 做这个错误分析时，我们通常发现它只是说追踪看起来很好，因为它没有理解某样东西是否可能是坏的产品味道所需的上下文。
What we usually find when we try to ask an LLM to do this error analysis is it just says the trace looks good because it doesn’t have the context needed to understand whether something might be bad product smell or not.
—— Shreya Shankar · [24:09]

指向原始笔记的链接

而且如果你看那条指数曲线，那个时间点由 Claude 编写的代码百分比，如果你只是沿着线画过去，很明显我们在年底就会超过 100%，即使这完全不符合直觉。
If you look at the exponential, the percent of code that was written by Claude at that point, if you just trace the line, it’s pretty obvious we’re going to cross 100% by the end of the year, even if it just does not match intuition at all.
—— Boris Cherny · [14:40]

指向原始笔记的链接

② 出现在这些集

2 集

• 《做 evals 不是写单元测试，是从看数据开始的错误分析》 — 作为概念
• 《Clay 的智能体矩阵：如何为数十亿次运行建评估》 — 作为概念

③ 关联

点进去有真内容 —— 本页主要出口

评估 · LLM 当裁判 · 智能体 · Lenny · Vishu · Hamel Husain · Clay · Shreya Shankar · Claygent · 错误分析