跨国深谈← 返回←LLM 当裁判 (LLM as a judge)

集里怎么说它

• 《Braintrust CEO Ankur Goyal:做 AI 评估的纪律八年不变，但玩法正在剧变》(23:43起):本集把 LLM 裁判比作 PM 写 PRD:写得越精确,跑评估的 LLM 就越成功;不该当基准,该当异常检测器,与启发式评分同时上、靠差异判断什么坏了。
• 《做 evals 不是写单元测试，是从看数据开始的错误分析》(26:44起):本集说 LLM 判别器是针对你描述了期望行为但智能体还是反复犯的顽固问题而建的自动评估方式，输出必须是二元判断（true/false），不能打 1-5 分。
• 《9亿美元管道背后:Unify CTO 谈怎么把销售智能体的成本打下来》(00:51起):本集说裁判模型必须换家族(跑 GPT 就用 Anthropic 判),否则智能体互相对话会出现模式坍缩,「相当于人类的群体思维」,你要的是近乎对抗性的关系。
• 《GrokBot、Origin 与 Grok 4.6 实测》(20:35起):本集说评测中 30% 权重来自 LLM 评委（使用 GPT-5.5），去掉人味后 LLM 评委讨厌 Grok、偏爱 Claude——说明纯靠 LLM-as-judge 会漏掉人类在意的维度
• 《垂直 AI 创业的七步配方：护城河不是模型，是领域专业知识》(09:08起):演讲者直说用它来评估垂直领域输出是「非常愚蠢的错误」：LLM 只会预测下一个最可能的词、用行话蒙混过关，不理解 alpha 或真正的价值。
• 《DoorDash 的评估平台实践：让非工程师也能给 AI 打分》(11:13起):本集说成用一个 LLM 按裁判提示词给输出打分的做法;DoorDash 把它的校准做成自助 UI,让 PM 和运营人员自己跑基线分数和优化循环。
• 《Clay 的智能体矩阵：如何为数十亿次运行建评估》(05:14起):本集把它说成：用大模型给输出打分的自动化评估器，属非确定离线一格；每个模型裁判都有内在偏好，只围着它爬山可能过拟合。
• 《终结 AI 垃圾内容：Taste Labs 如何度量并对抗 slop》(08:29起):本集说让一个大模型直接判断内容是优质人类作品还是 AI 垃圾的方法，其表现不如他们组合多个探针的做法。
• 《Warp CEO 的软件工厂：2000 个 PR 一个月，人成了瓶颈》(20:45起):本集说他们用中等智能水平、不太贵的模型做裁判，按采样率检查所有运行记录（如冗余测试问题），打分太贵会烧掉省下的钱
• 《三大新模型同日发布，现场盲测见真章》(24:29起):本集说她把代码正确性和长任务交给 LLM 裁判评,结果它(一个 GPT 模型)与她完全 disagree——她喜欢 Astra,它喜欢 Fable
• 《Meta 新模型 Muse Wonder 实测:干活的能手，做设计的差生》(06:28起):本集说她的评测方法:先由一个 LLM 当裁判给各模型打分排名,她再用语音笔记亲自补充评判,最后汇总成报告。

① 提到它的金句

3 条

我认为有很多它表现不太好的情况，但我觉得如果你把 LLM 当裁判的用途从一个基准重新定义为一个异常检测器，那它其实是可以的。
Well, I think there’s a lot of cases where it doesn’t work very well, but I think if you reframe the utility of an LLM as a judge from being a benchmark to being an anomaly detector, then I think it’s actually okay.
—— Ankur Goyal · [25:10]

指向原始笔记的链接

顺便说一句，这比大多数 LLM-as-a-judge 方法——也就是让一个 LLM 来判断那是优质的人类作品还是 AI 生成的 slop——表现都要好。
This performed better, by the way, than most LLM-as-a-judge methods of asking an LLM to judge if that is great human quality versus AI-generated slop.
—— Thais Castello Branco · [08:29]

指向原始笔记的链接

他们开始以某种方式利用测试数据，用 LLM 作为裁判来训练模型，用各种花招来刷基准，拿季度奖金之类的。
They start to kind of use leverage test data to use LLM as a judge for training of the models, use all the various tricks to basically gain benchmarks, get like quarterly bonuses and so on.
—— Alex Mashrabov · [23:52]

指向原始笔记的链接

② 出现在这些集

11 集

• 《Braintrust CEO Ankur Goyal:做 AI 评估的纪律八年不变，但玩法正在剧变》 — 作为概念
• 《做 evals 不是写单元测试，是从看数据开始的错误分析》 — 作为概念
• 《9亿美元管道背后:Unify CTO 谈怎么把销售智能体的成本打下来》 — 作为概念
• 《GrokBot、Origin 与 Grok 4.6 实测》 — 作为概念(提及)
• 《垂直 AI 创业的七步配方：护城河不是模型，是领域专业知识》 — 作为概念
• 《DoorDash 的评估平台实践：让非工程师也能给 AI 打分》 — 作为概念
• 《Clay 的智能体矩阵：如何为数十亿次运行建评估》 — 作为概念
• 《终结 AI 垃圾内容：Taste Labs 如何度量并对抗 slop》 — 作为概念
• 《Warp CEO 的软件工厂：2000 个 PR 一个月，人成了瓶颈》 — 作为概念
• 《三大新模型同日发布，现场盲测见真章》 — 作为概念
• 《Meta 新模型 Muse Wonder 实测:干活的能手，做设计的差生》 — 作为概念(提及)

③ 关联

点进去有真内容 —— 本页主要出口

智能体 · 评估 · Claude · Codex · Anthropic · OpenAI · 护栏 · 错误分析 · harness · GitHub