可解
可解释性 (interpretability)
概念
本站收录 4 集 · 1 条金句 · 关联 10 个
集里怎么说它
- 《当 AI 变成黑客武器:给企业智能体修防火墙》(17:36起):本集把它说成:剖析深度学习模型内部激活回路和行为的科学。过去因耗费极大人力而进展缓慢,现在有望通过智能体将其自动化并迎来大爆发。
- 《超级智能为什么危险：Ryan Greenblatt 的推演与解法》(23:11起):本集提到 Redwood Research 最初关注可解释性（模型内部工作），后来发现不如预期有希望，转向了 AI 控制
- 《斯坦福语言学家的代币经济学：你的 token 贬值了》(11:09起):Chris 团队因成本低、且欢迎模型进步而转向的研究方向；他认为学界「不理解模型」是专业知识悖论，人们的理解远超所承认的
- 《AI 的「决定」可能就是一次掷硬币：对话 Goodfire 的 Eric Bigelow》(00:03起):本集的主线:Eric 认为理解 AI(可解释性,包括评估)是当下最重要的话题,投入远落后于造模型,思维链越来越不可靠后,理解智能体为何行动要靠可解释性。
① 提到它的金句
1 条
一个是，随着能力提升，我们可能会拥有比想象中更好的机制可解释性，而能力提升会带来更好的机制可解释性，这意味着我们不应该推迟能力提升。
指向原始笔记的链接
One is that we will probably have better mech interpretability than we think as capabilities improve and that capability improvement will lead to better mech interpret, which means we should not delay capabilities improvements.
—— Eddy Lazzarin · [07:34]
② 出现在这些集
4 集
- 《当 AI 变成黑客武器:给企业智能体修防火墙》 — 作为概念
- 《超级智能为什么危险：Ryan Greenblatt 的推演与解法》 — 作为概念(提及)
- 《斯坦福语言学家的代币经济学：你的 token 贬值了》 — 作为概念
- 《AI 的「决定」可能就是一次掷硬币：对话 Goodfire 的 Eric Bigelow》 — 作为概念
③ 关联
点进去有真内容 —— 本页主要出口
Anthropic · 智能体 · 思维链 · 奖励黑客 · Zico Kolter · Ryan Greenblatt · Sam Charrington · Goodfire · Matt Fredrikson · Matt Turk