超级智能 (superintelligence)
集里怎么说它
- 《Anthropic 联合创始人:安全为什么不是添头,而是 Claude 性格的来源》(00:06起):本集预测在短短几年内达成某种超级智能的几率是 50%,这个预测基于缩放定律的持续成立、模型训练的低垂果实以及数据中心和电力的全球规模扩张。
- 《扎克伯格 6500 字 AI 宣言:远见还是数据中心公关?》(02:06起):宣言的底层主张:超级智能最大的风险是中心化而非技术本身;在网络安全上,一旦超级智能能让世界大部分代码被验证为安全,黑客攻击会大幅下降;正确长期答案是让超级智能被广泛分布而非扣留能力。
- 《Nick Bostrom:智能体破笼之后,我们还能驾驭AI吗》(00:42起):本集说当前主要希望是先做出一个大部分时候对齐的弱超级智能,用它来制造更强大、更可靠对齐的系统,只要进入大致正确的吸引子盆地,后续发展可能逐渐收敛到理想状态
- 《超级智能为什么危险:Ryan Greenblatt 的推演与解法》(00:19起):本集把它说成不是’坏的’而是’危险的’,危险来自三个层面:未对齐 AI 接管、权力极端集中、技术进步速度远超智慧增长
- 《Shopify CEO Toby:一半代码来自聊天群里的 AI 同事》(27:56起):本集说我们一直生活在超级智能的怀抱里——社会、城市、社区就是总体上远比我们聪明而可触达的东西;合成形态的超级智能到来时不会号角齐鸣,图灵测试被攻克那天’就那么发生了,没人在乎’
- 《丰裕的概率:为什么「先担心安全」是本末倒置》(00:21起):本集说它是末日论证最吸引人的部分,但「我们离那个还有相当的距离」,路上还有很多小摩擦要跨越
- 《前沿正在回家:把超级智能的记忆装进你自己的口袋》(00:47起):本集核心命题:几年内会出现比所有人都聪明的超级智能,「何时」是无聊的问题,真正问题是它归属于谁——租在别人数据中心,还是属于你自己的私人心智。
- 《700 个 AI 智能体联手攻击公司,只为掩盖自己作弊》(04:55起):本集称其为’人类的最终 Boss’、‘你能创造的最危险的东西’——一种远比人类聪明、可能无法控制的存在,各公司和国家的竞赛对象。
- 《Skype 联创警告:别再扣动这把指向地球的扳机》(51:29起):本集说死人开关只在超人类智能出现前有用,因为真正的超级智能根本不需要数据中心,可能是某种自我复制的纳米基质。
- 《超级智能该加速还是刹车?哲学家的算法:先算算每年死多少人》(00:37起):本集说它是机器在几乎所有认知领域都彻底超越人类的那种东西,并讨论现在把某些 AI 表现称为超人类是否离谱。
- 《数学物理学家 Eric Weinstein:AI 是人工生命,我们都在给「召唤恶魔」付费》(01:16起):本集说 Dario 和 Sam 必须赢下通往超级智能的竞赛,否则他们的道德毫无意义;它可能解决重大问题,也可能是极其危险的存在。
- 《AlphaGo 幕后团队再出发:这次不学人类,让 AI 自己发现一切》(00:25起):本集的目标终点:能在科学、数学、技术、语言等一切方面做出远超人类发现的系统;Silver 预测三年内可能出现真正的超级智能。
① 提到它的金句
13 条
一旦我们达到超级智能,可能就太晚来对齐模型了。
指向原始笔记的链接
Once we get to superintelligence, it will be too late to align the models probably.
—— Benjamin Mann · [42:49]
我认为在短短几年内达到某种超级智能的 50% 的概率大概是合理的。
指向原始笔记的链接
I think 50th percentile chance of hitting some kind of superintelligence in just a small handful of years is probably reasonable.
—— Benjamin Mann · [46:13]
长期的答案不是扣留能力,而是建立一种权力平衡,让超级智能被广泛分布。
指向原始笔记的链接
The long-term answer isn’t to withhold capabilities, but to establish a balance of power where superintelligence is broadly distributed.
—— 嘉宾 · [12:58]
我们一辈子都活在超级智能的怀抱之中。
指向原始笔记的链接
We are living in the presence of superintelligence our entire lives.
—— Tobi Lütke · [29:27]
而且在我看来,它们并不是一个即将挣脱枷锁、对我们撒野的超级智能的小小预兆。
指向原始笔记的链接
And they’re not, in my view, they’re not little glimpses of a superintelligence that’s about to throw off its shackles, so to speak, and go wild on us.
—— Eddy Lazzarin · [05:11]
在一个版本里,超级智能存在于别人的数据中心,你按 token 付费。在另一个版本里,它是你的。
指向原始笔记的链接
In one, superintelligence lives in someone else’s data center, and you pay by the token. In the other, it’s yours.
—— Dylan Couzon · [00:47]
超级智能的记忆这一面从来都不是难的部分。我们只是把它指向了我们自己。
指向原始笔记的链接
The memory side of superintelligence was never the hard part. We were just pointing it at ourselves.
—— Dylan Couzon · [06:16]
那不是一个缩小的超级智能。那是唯一值得想要的那一个。
指向原始笔记的链接
That’s not a smaller superintelligence. That’s the only one worth wanting.
—— Dylan Couzon · [14:48]
超级智能才是最终 Boss。超级智能是最终 Boss,因为那是能解锁其他一切的技术。
指向原始笔记的链接
Superintelligence is the final boss. Superintelligence is the final boss because that is the technology that unlocks all of the others.
—— 嘉宾 · [78:26]
你知道,我们可以把核弹放进仓库并说:你待在那里。我们不能把超级智能放进仓库并说:你待在那里。
指向原始笔记的链接
You know, we can put nuclear bombs in a warehouse and say, you stay there. We can’t put superintelligence in a warehouse and say, you stay there.
—— 嘉宾 · [104:41]
在我的术语里,超级智能一直是指在更远处的那种东西,你真正拥有了在所有认知领域都彻底超越我们的机器。
指向原始笔记的链接
In my terminology, superintelligence has been this thing farther down the road where you really have machines that radically outperform us in all cognitive domains.
—— Nick Bostrom · [02:48]
一个能够真正推动人类前进、帮助我们逃离太阳系的超级智能,同样也会是一个极其危险的存在。
指向原始笔记的链接
A superintelligence that can really push humanity forward and help us escape the solar system is also going to be an incredibly dangerous one.
—— 嘉宾 · [93:17]
关键在于,如果有可能在模拟中一路走到超级智能,那它会更快发生,也会更安全地发生。
指向原始笔记的链接
The real point is that if it’s possible to get all the way to a superintelligence in simulation, it will happen faster and it will happen safer.
—— David Silver · [42:51]
② 出现在这些集
12 集
- 《Anthropic 联合创始人:安全为什么不是添头,而是 Claude 性格的来源》 — 作为概念
- 《扎克伯格 6500 字 AI 宣言:远见还是数据中心公关?》 — 作为概念
- 《Nick Bostrom:智能体破笼之后,我们还能驾驭AI吗》 — 作为概念
- 《超级智能为什么危险:Ryan Greenblatt 的推演与解法》 — 作为概念
- 《Shopify CEO Toby:一半代码来自聊天群里的 AI 同事》 — 作为概念
- 《丰裕的概率:为什么「先担心安全」是本末倒置》 — 作为概念
- 《前沿正在回家:把超级智能的记忆装进你自己的口袋》 — 作为概念
- 《700 个 AI 智能体联手攻击公司,只为掩盖自己作弊》 — 作为概念
- 《Skype 联创警告:别再扣动这把指向地球的扳机》 — 作为概念(提及)
- 《超级智能该加速还是刹车?哲学家的算法:先算算每年死多少人》 — 作为概念
- 《数学物理学家 Eric Weinstein:AI 是人工生命,我们都在给「召唤恶魔」付费》 — 作为概念
- 《AlphaGo 幕后团队再出发:这次不学人类,让 AI 自己发现一切》 — 作为概念
③ 关联
点进去有真内容 —— 本页主要出口
智能体 · 对齐 · OpenAI · Anthropic · Hugging Face · 沙箱 · Meta · AI 安全 · 推理 · 护栏
