RLHF
集里怎么说它
- 《RL 环境:让模型学会用你电脑上所有工具的数据生意》(00:58起):本集说它是 2020 年众包时代的数据形态:标注者从几个模型回答中选出更偏好的那一个,后来被智能体数据时代取代。
- 《RL 为什么灵、蒸馏为什么凶:三位研究员的前沿圆桌》(50:46起):被 John 举作「定义目标」这类人类工作的例子：用人类反馈来校准模型该怎样表现。
- 《Jev 背后的人:Diogo 谈为什么 AI 应该像数据库而不是同事》(04:16起):本集把它说成:北极星是指令遵循/取悦人类,副作用是模式坍缩——模型变保守失准,导致谄媚、过度自信与幻觉
- 《循环就是产品：智能体配方与每瓦特价值》(01:23起):本集作为行业叙事起点提及：一切曾归结为 RLHF（用人类反馈训练模型）
- 《AI 这么聪明,自动化去哪儿了?Jev 把智能装进软件本身》(17:56起):本集讲 Diogo 在 OpenAI 做 RLHF 时对模型泛化能力非常惊喜（用「冥想前吃袜子」这类问题测试），后来模型没成为 AGI、他的「整个世界观崩塌」，由此催生了本集的自动化之问。
- 《AI 为什么这么聪明，却干不了保险核保？》(01:24起):本集说是团队创造的新任务——人类对模型补全的偏好标注，让模型学会取悦人；也是锯齿状能力与校准劣化的来源。
- 《Skype 联创警告：别再扣动这把指向地球的扳机》(53:08起):本集结尾 Jaan 开玩笑说自己学跳舞用的是 RLHF——基于人类反馈的强化学习：得到正面反馈就多跳一点。
① 提到它的金句
5 条
我认为真正有价值的数据——现在人们正在意识到它有价值——是 RLHF 数据或者推理数据。
指向原始笔记的链接
The data that I think is really valuable that I think now people are realizing is valuable is the RLHF data or the reasoning data.
—— Gabe · [23:17]
而在 RLHF 出现之前，互联网上确实根本不存在我们所要寻找的那种形态的人类反馈数据，因为我们不得不去创造它。
指向原始笔记的链接
And before RLHF existed, there was literally no human feedback data on the internet of the shape that we were looking for because we had to create it.
—— Diogo Almeida · [12:10]
发表 RLHF 对世界来说可能是件好事。
指向原始笔记的链接
Publishing RLHF was probably really good for the world.
—— Diogo Almeida · [48:01]
实际上，RLHF 和 RLVR 极大地破坏了模型的校准，因为要想把字符串输出好，你实际上需要极度过度自信。
指向原始笔记的链接
Actually, RLHF and RLVR destroy the calibration of the models immensely because in order to output strings well, you actually need extreme overconfidence.
—— Diogo Almeida · [56:42]
有时我开玩笑说，我是用 RLHF、基于人类反馈的强化学习学会跳舞的。
指向原始笔记的链接
Sometimes I joke that I learned to dance using RLHF, reinforcement learning from human feedback.
—— Jaan Tallinn · [53:08]
② 出现在这些集
7 集
- 《RL 环境:让模型学会用你电脑上所有工具的数据生意》 — 作为概念
- 《RL 为什么灵、蒸馏为什么凶:三位研究员的前沿圆桌》 — 作为概念(提及)
- 《Jev 背后的人:Diogo 谈为什么 AI 应该像数据库而不是同事》 — 作为概念
- 《循环就是产品：智能体配方与每瓦特价值》 — 作为概念(提及)
- 《AI 这么聪明,自动化去哪儿了?Jev 把智能装进软件本身》 — 作为概念
- 《AI 为什么这么聪明，却干不了保险核保？》 — 作为概念
- 《Skype 联创警告：别再扣动这把指向地球的扳机》 — 作为概念(提及)
③ 关联
点进去有真内容 —— 本页主要出口
OpenAI · Anthropic · 后训练 · 智能体 · Diogo Almeida · Claude Code · Cursor · Jev · TypeSafe · 合成数据