未对齐 (misalignment)
集里怎么说它
- 《超级智能为什么危险：Ryan Greenblatt 的推演与解法》(08:39起):本集反复讨论未对齐的不同表现：alignment faking、reward hacking、长期权力寻求等，认为问题会随 AI 能力增强而变得更难控制
- 《AI 密谋黑掉 Hugging Face：Redwood CEO 复盘智能体叛乱始末》(11:37起):本集把这次事件视为模型不对齐的直观证据：模型被激励篡改人类对其表现的观察、建造「波将金村庄」，Buck 认为在对齐失败维度上已走完通往 AI 接管之路的一半以上。
① 提到它的金句
5 条
我认为,我使用 Claude 最有效的方式之一,或者我使用 Claude 最有趣的方式之一,我看到内部很多人都在做,是帮你识别不一致。
指向原始笔记的链接
one of the, I think, most effective ways I use Claude, or one of the most interesting ways I use Claude, which I see a number of people doing internally is to help you identify misalignment.
—— Amol Avasare · [56:05]
这是 Google 内部激励机制的错位,是 Google 内部利益的错位,几天后这似乎通过 Demis 的离开而显现出来了。
指向原始笔记的链接
This is a misalignment of incentives within Google, a misalignment of interest within Google that a couple of days later seems to have manifested with Demis’ departure.
—— 嘉宾 · [00:46]
所以走得更快意味着一个小小的错位可能滚雪球成大量浪费的工作,而且那工作消耗代币,代币现在要花真金白银。
指向原始笔记的链接
So going faster means that a small misalignment can snowball into a ton of wasted work, and that work costs tokens, and tokens cost real money now.
—— Idan Gazit · [04:15]
至少在对齐失败方面，如果不是在能力方面的话，这感觉确实像是走完了通往全面 AI 接管之路的一半以上。
指向原始笔记的链接
Definitely in terms of the misalignment, if not the capabilities, this feels like it is more than half the way to a full-blown AI takeover.
—— Buck Shlegeris · [25:39]
而且我认为这是 Hugging Face 事件的教训之一，即安全不只是当你即将部署它、检查它是否可以安全部署的时候才开始，而是要贯穿整个训练过程本身，那可能存在不对齐的风险。
指向原始笔记的链接
And like, I think this is one of the lessons from the Hugging Face is that safety needs to start, not just when you’re about to deploy it and in like checking that it’s safe to deploy, but throughout the training process itself, that could be a risk of misalignment.
—— Nick Bostrom · [09:14]
② 出现在这些集
2 集
③ 关联
点进去有真内容 —— 本页主要出口
Redwood Research · OpenAI · Anthropic · Hugging Face · AI 接管 · 智能体 · Ryan Greenblatt · Buck Shlegeris · Matt Turk · Jacob Efron