跨国深谈← 返回←Hamel Husain

① 他说过的话

5 条

答案是，只写下你看到的第一个错误，也就是最上游的错误。别担心所有的错误，只捕捉你看到的第一个错误的东西，然后停下，继续下一个。
And the answer is, just write down the first thing that you see that’s wrong, the most upstream error. Don’t worry about all the errors, just capture the first thing that you see that’s wrong, and stop, and move on.
—— Hamel Husain · [22:13]

指向原始笔记的链接

他们直接进入评估，比如”让我只写一些测试”，这就是事情脱轨的地方。
They go straight into evals like, “Let me just write some tests,” and that is where things go off the rails.
—— Hamel Husain · [47:13]

指向原始笔记的链接

我们不想要，“嘿，按一到五的评分给它打分。它有多好？“这在大多数情况下只是一种不做决定的圆滑方式。
We don’t want, “Hey, score this on a rating of one to five. How good is it?” That’s just in most cases, that’s a weasel way of not making a decision.
—— Hamel Husain · [52:35]

指向原始笔记的链接

现在这听起来很吸引人，但它是一个非常危险的指标，因为很多时候，错误，它们只发生在长尾上，并且不经常发生，所以如果你只有 10% 的时间有错误，那么你可以很容易地通过让评判者一直说它通过来达到 90% 的一致性。
Now that sounds appealing, but it’s a very dangerous metric to use, because a lot of times, errors, they only happen on the long tail and they don’t happen as frequently, so if you only have the error 10% of the time, then you can easily have 90% agreement by just having a judge say it passes all the time.
—— Hamel Husain · [58:41]

指向原始笔记的链接

这是你可以参与的 ROI 最高的活动。
It’s the highest ROI activity you can engage in.
—— Hamel Husain · [89:47]

指向原始笔记的链接

② 出现在这些集

1 集

• 《做 evals 不是写单元测试，是从看数据开始的错误分析》 — 作为联合主持

③ 他谈到的

点进去有真内容 —— 本页主要出口

Lenny · Shreya Shankar · 评估 · 错误分析 · 开放式编码 · 轴向编码 · LLM 当裁判 · 智能体 · trace · Anthropic

④ 也在聊「智能体」的人