跨国深谈← 返回←错误分析 (error analysis)

集里怎么说它

• 《做 evals 不是写单元测试，是从看数据开始的错误分析》(12:36起):本集说错误分析是构建 evals 的第一步，源自机器学习和数据科学领域，核心是从应用日志里抽样看 trace，发现并记录最上游的错误。

① 提到它的金句

1 条

当我们试图请求一个 LLM 做这个错误分析时，我们通常发现它只是说追踪看起来很好，因为它没有理解某样东西是否可能是坏的产品味道所需的上下文。
What we usually find when we try to ask an LLM to do this error analysis is it just says the trace looks good because it doesn’t have the context needed to understand whether something might be bad product smell or not.
—— Shreya Shankar · [24:09]

指向原始笔记的链接

② 出现在这些集

1 集

• 《做 evals 不是写单元测试，是从看数据开始的错误分析》 — 作为概念

③ 关联

点进去有真内容 —— 本页主要出口

Lenny · Hamel Husain · Shreya Shankar · 评估 · 开放式编码 · 轴向编码 · LLM 当裁判 · 智能体 · trace · Anthropic