评分
评分细则 (rubric)
概念
本站收录 1 集 · 2 条金句 · 关联 10 个
集里怎么说它
- 《医疗是最高风险的前沿 AI 战场：Abridge 的 clinical intelligence 之路》(17:09起):本集说为绕开「生成器-验证器差距小」的死结,让相互独立的医生各自制定 rubric(列出好回答应包含的要素)、再由另一位医生仲裁、第四位临床医生做 QA,LLM 评委据此做语义匹配。
① 提到它的金句
2 条
如果你要把一个智能体卖给某个人，你也必须帮他们解决评分标准的问题，即我们究竟如何验证这个智能体在做好的工作
指向原始笔记的链接
if you’re going to sell somebody an agent, you also have to help them with the rubric of how do we actually verify that this agent is doing good work
—— Maximillian Piras · [15:44]
所以未来将走向一种状态:你甚至可能不必用英语定义任务,而是更多定义目标和评分标准,然后智能体会用它所有可用的上下文真正解决任务。
指向原始笔记的链接
So the future will move towards a state where you actually might not even have to define the task in English, but actually more the goal and a scoring rubric, and then the agent will use all available contexts available to it to actually solve the task.
—— Jerry Liu · [04:57]
② 出现在这些集
1 集
③ 关联
点进去有真内容 —— 本页主要出口
Chaitanya Asawa · Abridge · Glean · 智能体 · 临床决策支持 · 评估 · LLM 评委 · 后训练 · 前沿模型 · 临床记录