跨国深谈← 返回←Doug Guthrie

① 他说过的话

4 条

我认为二元评分，尤其是在起步阶段、当我们有一个正要投入生产的智能体时，比 A、B、C、D 之类要好。而且你应该极其严苛。
Binary scoring, I think, especially at the outset, when we have sort of an agent that we are putting out into production, binary scoring, I think, is better than, you know, A, B, C, D, or so on. And you should be incredibly harsh.
—— Doug Guthrie · [12:46]

指向原始笔记的链接

但如果你在你的 eval 上拿到 100%，其一，你的数据集中可能没有足够强的测试用例，你的评分可能不够严苛，所以你应该审视一下并相应地进行校准。
But if you get 100% on your evals, one, you probably don’t have strong enough test cases in your data set, your scores probably aren’t harsh enough, so you should sort of look at that and sort of calibrate accordingly.
—— Doug Guthrie · [13:09]

指向原始笔记的链接

你的评估应该随着你的智能体一起演进。
Your evals should evolve with your agent.
—— Doug Guthrie · [78:32]

指向原始笔记的链接

我可以基于所有那些洞察生成一个 PR，但我并不给他们访问底层 trace 的权限。我给他们的是对这些 trace 的分析的访问权限。
I can generate a PR based off of all of those insights, but I don’t give them access to the underlying traces. I give them access to the analysis.
—— Doug Guthrie · [98:38]

指向原始笔记的链接

② 出现在这些集

1 集

• 《智能体上线后总出问题？先学会「看见」它在干什么》 — 作为嘉宾

③ 他谈到的

点进去有真内容 —— 本页主要出口

Braintrust · 追踪 · 可观测性 · 评估 · LLM 裁判 · Topics · 飞轮 · 编码智能体 · Brainstore

④ 也在聊「智能体」的人