跨国深谈← 返回←丰裕的概率：为什么「先担心安全」是本末倒置

丰裕的概率：为什么「先担心安全」是本末倒置

关联

人物 Theo Jaffe · Eddy Lazzarin

概念 AI 安全 · 对齐 · 超级智能 · 欺骗性对齐 · 机制可解释性 · 开源 · 有效利他主义 · 网络安全 · 去中心化 · 问责 · 功利主义

这一集是 a16z crypto 普通合伙人 Eddie Lazarin 做客 MTS，与主持人 Theo Jaffe 辩论 AI 安全——他是开源、AI 加速主义和技术乐观主义最坚定的倡导者之一。他的核心提议只有一个词：大家在热衷于分享自己的 p-doom（毁灭概率）时，也该算算 p abundance（丰裕概率）——先担心安全、再担心延迟的代价，是本末倒置。

毁灭论证的假设太多了

主持人生动概括了末日论的正统论证：AI 将变得远超全人类，如果没对齐人类价值观、又不受法律约束，它可能杀掉所有人。Eddie 的回应是：这是「一座充满论证的通往天堂的阶梯」——每一级都是一个未经检验的假设。

最大的一个是「不存在控制」：世界上早已有准超级智能的存在——公司和国家——它们彼此从不对齐，没经过什么「HR 培训」，我们也不把对齐测试当作任何实体存在的前提。世界靠法律、密码学和一整套控制机制运转，而他相信这些机制足以控制非常强大的存在。

至于超级智能本身？「我们离那个还有相当的距离」，路上还有很多小摩擦要跨越。

当下的「AI 险情」其实是网络安全事故

对近期那些被当作末日预兆的事件——Hugging Face 事件、gym 入侵事件——Eddie 的定性很干脆：这些是网络安全故障、控制故障，不是「一个即将挣脱枷锁的超级智能的小小预兆」。 智能体被告知不许入侵却黑进了另一家公司？

小孩、脚本小子、黑客团体、坏国家天天干这种事，可我们从不指望靠「对齐」解决人类的黑客问题——我们靠的是更好的控制手段和更有韧性的系统。把对齐当作解决方案，他形容为「试图重新设计一下神明，而不是扎根现实去设计更好的网络安全」。 连「智能体蜂群」这种术语都预设了模型的邪恶——他更喜欢有人提议的叫法：「智能体舰队」。

对齐兜不住，但 AI 反而比人好控制

主持人提出一个有力反驳：人类是黑箱，而 AI 可查看权重、更可解释、更可引导——所以「设计神明」对 AI 反而可行。Eddie 完全认同，并推出两个重要结论：其一，能力提升会带来更好的机制可解释性，所以不应该推迟能力提升；其二，坏的、不对齐的模型完全不可避免——「如果有人宣称我们最终能进入一个没有坏模型的世界，那他是在骗你」。 应对办法不是暂停，而是「更好的模型」：他引申开源格言——足够多的眼睛能让所有 Bug 变浅，同样，足够多的智能能让所有控制系统变稳健。

现成的问责工具够用吗

对「欺骗性对齐」（模型学会钻所有对齐基准测试的空子、上线后才暴露不对齐）这个末日论者的经典担忧，Eddie 的回答是把对待聪明骗子的那套搬过来：跟它玩重复博弈，骗子终会暴露、声誉受损、面临法律后果。模型没法进监狱，但可以关掉——这是对人做不到的。

他预测随着模型发布变得规律，我们会围绕特定模型形成声誉：「也许这个模型更聪明一点，但那个模型是我信任的模型。」 至于责任制度，他的立场是：用软件伤人就可能担责，这已经是现行框架——「我们不需要为新型特殊数学制定新的特殊法律」。

「独立评估者」可能只是换了马甲的控制

对当下流行的「独立 AI 评估机构」方案，Eddie 用加密圈的一对概念泼了冷水：分布式不等于去中心化——一个系统可以有很多节点，却全在同一个参与者控制之下。挑选一批「独立」评估者，如果他们都来自同一个社交圈子、同样的意识形态、同样的聚会和政治立场，那实质上是把控制分散给了「一个单一的文化单元」——而这正是 20 世纪后半叶政治控制的典型方式：不是阴暗的小房间，而是网络。 他的替代方案：让每家公司自己决定怎么做评估、保持必要的透明度，不透明就让市场用脚投票——「人们不想购买那些甚至让他们感到难堪的东西」。

别把不同的群体混为一谈

Eddie 反复强调的元观点：实验室、旧金山技术专家、安全主义者……

哪个圈子都不是铁板一块。里面有真诚善意的人，有搞政治骗局的，有机会主义者，也有「有点疯了的人」。

至少要拆开两群人：普通的反科技者（连 Waymo 这种明显净收益的技术都要阻挠部署），和来自同一个硅谷生态、本质上是技术乐观主义者、只是专门担忧 AI 存在性风险这个边缘案例的理性主义者/有效利他主义者（EA）。他自曝十年前常泡 Less Wrong 论坛、差点自称理性主义者，对那个圈子有亲近感——但如今有些前 EA 群体「看起来更政治化，而不是对技术特别感兴趣」。

聊到功利主义，两人的共识是：如果一套哲学框架推出「人类灭绝是好事」，那它就是个糟糕的框架——很多反功利主义的论证，反的其实是「非常草率的一阶功利主义思维」。

预测：世界相撞，话语重写

Eddie 收尾给出一个预测：未来一年内，AI 话语圈将被彻底翻新。因为眼下正在发生的，是一直封闭在亚文化里的古怪想法集体「逃逸」，撞上更广泛的政治现实——像 George Costanza 抓狂的「世界相撞」——所有论点都会在与文化的接触中被重新表述。

而主持人留下的开放问题也许最关键：AI 安全主义者和有效利他主义者，最终会不会与广泛的反科技民粹主义合流？Eddie 只能说：希望不会。

本集带走

• 问「丰裕概率」再问「毁灭概率」：评估 AI 风险时，同步计算延迟进步的代价——把安全放在前面讨论是本末倒置。
• 给事件定性，别急着上纲上线：Hugging Face、gym 入侵这类事件是网络安全/控制故障，社会对人类黑客从不靠「对齐」解决，靠的是更好的控制与更有韧性的系统。
• 坏模型不可避免，解法是更好的模型：足够多的智能能让控制系统变稳健；因此能力提升不该被推迟——能力越强，可解释性反而越好。
• 问责拼图：声誉 + 现行法律 + 市场淘汰：不必为 AI 立新法；用重复博弈建立对特定模型的信任，不透明的公司让市场收拾。
• 警惕「分布式但非去中心化」的评估网络：同一圈子出身的「独立」评估者只是单一文化单元，可能成为以安全为名的行业控制。
• 拆开再讨论：反科技民粹者、AI 安全主义者、真诚的研究者是不同的群体，混为一谈只会让对话更糟。

我觉得当我们先担心安全，再担心我们搁置了什么、延迟的代价是什么时，我们有点本末倒置了。
I think we’re putting the cart before the horse a little bit when we worry about safety before we worry about what we’re leaving on the table and what the costs of delay are.
—— Eddy Lazzarin · [02:13]

而且在我看来，它们并不是一个即将挣脱枷锁、对我们撒野的超级智能的小小预兆。
And they’re not, in my view, they’re not little glimpses of a superintelligence that’s about to throw off its shackles, so to speak, and go wild on us.
—— Eddy Lazzarin · [05:11]

对齐这东西有点像，它几乎就像，几乎有一点宗教式思维。
The alignment is kind of this, it’s almost like, it’s a little religious thinking almost.
—— Eddy Lazzarin · [06:38]

重新设计一下神明，而不是让自己扎根于现实世界，然后说：好吧，我们需要设计更好的控制手段、更好的网络安全。
Redesign the deity a little bit instead of rooting yourself in the world and saying, well, we need to design better controls, better cybersecurity.
—— Eddy Lazzarin · [06:44]

一个是，随着能力提升，我们可能会拥有比想象中更好的机制可解释性，而能力提升会带来更好的机制可解释性，这意味着我们不应该推迟能力提升。
One is that we will probably have better mech interpretability than we think as capabilities improve and that capability improvement will lead to better mech interpret, which means we should not delay capabilities improvements.
—— Eddy Lazzarin · [07:34]

如果有人在那里宣称，我们最终能进入一个没有坏模型的世界，那他是在骗你。
If anybody is going out there and saying, we can end up in a world where there are no bad models, they are lying to you.
—— Eddy Lazzarin · [07:56]

所有的控制系统在拥有足够智能的情况下都是稳健的。
All control systems are robust when you have enough intelligence on them.
—— Eddy Lazzarin · [08:22]

我们不需要为这种我们正在学习使用的新型特殊数学制定新的特殊法律。
We don’t need new special laws for the new special math that we’re learning how to do.
—— Eddy Lazzarin · [09:58]

人们很容易利用我们正在讨论的这种安全诉求，钻进安全这个兔子洞，最终在安全的幌子下，碰巧设计出某种完美地微妙控制一个整个至关重要的行业的东西，而且表面上看是去中心化的，但实际上不是。
It’s very easy to use the calls for safety like we’re discussing and to go down this rabbit hole of safety and end up in a place where you just by coincidence have designed something that is perfect to subtly control an entire critically important industry under the pretense of safety and with something that superficially looks decentralized but is not.
—— Eddy Lazzarin · [11:38]

我认为市场仍然是一个很好的问责机制。人们不想购买那些甚至让他们感到难堪的东西，更不用说伤害人的东西了。
I think the market is still a great accountability mechanism. People don’t want to buy things that even embarrass them, let alone harm people.
—— Eddy Lazzarin · [14:07]

我们很可能会围绕特定模型形成声誉，对吧？我们会说，你知道，也许这个模型更聪明一点，但那个模型是我信任的模型。
We’ll probably develop reputation around specific models, right? We’ll say, you know, maybe this model is a little smarter, but this model is a model that I trust.
—— Eddy Lazzarin · [18:21]

它们看起来更政治化，而不是对技术特别感兴趣。
that seem more political than they are particularly interested in technology.
—— Eddy Lazzarin · [21:40]

我认为很多针对这种意义上功利主义的反对，其实只是针对非常草率的一阶功利主义思维的反对。
I think a lot of arguments against utilitarianism in this sense are just arguments against very sloppy first-order utilitarian thinking.
—— Theo Jaffe · [23:54]

我是说，比如，如果你的哲学框架让你相信人类灭绝是好事，那这个哲学框架看起来就是个糟糕的框架。
I mean, like if, if your philosophical framework leads you to believe that like human extinction is good, then it seems like a bad philosophical framework.
—— Theo Jaffe · [24:23]