RL
RLVR
概念
本站收录 3 集 · 2 条金句 · 关联 10 个
集里怎么说它
- 《Jev 背后的人:Diogo 谈为什么 AI 应该像数据库而不是同事》(04:22起):本集说它本质是「优化基准」——一切可编程验证的输出按定义就是基准;嘉宾认为 LLM 领域它顶多算 0.2 次新任务,且是「踩刹车」讨论的狭隘前提
- 《从「考测试」到「干真活」:TuringJonathan 谈 AI 训练的范式切换》(17:15起):本集说这是今天的训练范式:智能体在模拟环境中执行复杂任务、测试通过即获得奖励,研究者相信这个方法能泛化
- 《AI 为什么这么聪明,却干不了保险核保?》(56:42起):本集说它本质是在为基准优化、极大破坏模型校准,也是 LLM 很多脆弱性和参差性的来源。
① 提到它的金句
2 条
有趣的地方在于,我认为人们对「合成数据」的含义有很多误解,因为 RLVR 本质上就是一场对合成数据的押注。
指向原始笔记的链接
So the fascinating thing is I think that there’s been a lot of misinterpretation of what people mean when they say synthetic data because like RLVR is a bet on synthetic data.
—— Brendan Foody · [16:38]
实际上,RLHF 和 RLVR 极大地破坏了模型的校准,因为要想把字符串输出好,你实际上需要极度过度自信。
指向原始笔记的链接
Actually, RLHF and RLVR destroy the calibration of the models immensely because in order to output strings well, you actually need extreme overconfidence.
—— Diogo Almeida · [56:42]
② 出现在这些集
3 集
- 《Jev 背后的人:Diogo 谈为什么 AI 应该像数据库而不是同事》 — 作为概念
- 《从「考测试」到「干真活」:TuringJonathan 谈 AI 训练的范式切换》 — 作为概念
- 《AI 为什么这么聪明,却干不了保险核保?》 — 作为概念
③ 关联
点进去有真内容 —— 本页主要出口
Diogo Almeida · 智能体 · Jev · TypeSafe · RLCD · RLHF · 校准 · OpenAI · Anthropic · System 1 模型
