当AI agent满网跑，安全怎么办？三位老将吵了一期

关联

人物 Steven Sinofsky · Aaron Levie · Martin Casado

概念 智能体 · 智能体集群 · 节奏控制 · X 风险 · GDPR · 多级安全 · 概率化编程 · regulation

有一篇谈AI安全的文章引发了科技圈一整轮争论。这期a16z播客把三个人拉到一起：Aaron Levie、Steven Sinofsky和Martin Casado。三人共识不少，但吵得更凶。

核心分歧不在该不该做安全，而在怎么谈安全、该不该让政府插手。

pacing是个伪命题？

Dario那篇文章的基本主张——更好的沙箱、更好的测试、更严格的安全治理——三位嘉宾其实都认同。

Aaron Levie说，任何前沿实验室都该用最安全的方式构建，没有企业信任，AI根本扩散不了 。

但Martin Casado有两个更尖锐的意见。

第一，pacing（给AI发展定节奏）这个词本身站不住脚。它和安全是两回事——你可以很慢地造核武器，慢不让人觉得安心 。

而且节奏相对于什么？实验室从来没公布过时间表，没有参照物就谈不上快慢。

Sinofsky补了一刀：这就像媒体报道苹果的iPhone延期——延期自什么？没人知道那产品存在 。

第二，也是Martin最在意的：实验室嘴上说pacing，实际是全速奔跑——融了史上最多的钱，增长史上最快 。这种言行不一，反而给了监管者借口。

10%灭绝概率是政治炸弹

播客里反复出现一个具体矛盾：有员工说AI有10%的概率导致人类灭绝，而Dario在电视采访里表示自己同意的比不同意多。

Martin的逻辑很直接：如果实验室内部最懂行的人真信这个，那答案只有一个——把技术收归国有，用核武器级别的管控 。

历史上，银行、电力、生物安全四级实验室，凡是被视为关键基础设施的，最终都走向了实质上的国有化或极端监管。

而如果他们其实不信——Martin说私下沟通里，最清醒的人大多不信——那这就是个人力资源问题：

为了留住员工、安抚内部焦虑，就拿灭绝风险当筹码，去换取全国性的技术封锁，这个交换太荒唐了 。

Sinofsky补了句很妙的话：「文章很讲理，但氛围不对。」

你不能一边谈物种灭绝，一边拿出一份四平八稳的工程清单，两边人都会觉得你在敷衍 。

政府不是你许愿的池子

Sinofsky讲了一段亲身历史：Bill Gates跟Bill Clinton打高尔夫，回头微软照样被反垄断诉讼，Bill还纳闷——我这不就是该做的事吗？ 。

科技行业一百多年来每轮技术浪潮都要重新学一遍这个教训：你没法跟政府聊出一个你想要的监管结果。

政府的产出永远是妥协，要么不够，要么过头，没有例外。他预测，下一届（2028年）大选将成为AI公投 。

而麻烦在于，主张发展AI的一方处于守势——辩论词汇全是对方选的：pause、swarms、rogue（暂停、蜂群、失控），没有一个词是支持AI的人发明的 。

Martin最大的担忧很具体：欧洲会把GDPR那套搬到AI上——每次AI接触一个第三方产品，都弹一个同意提示，像汽车里的安全气囊警告贴纸。

没人读，人人麻木，然后监管者说这还不够，再加强 。

而美国15年前放弃了科技反垄断的主导权，欧洲没什么可输的，就会抢先定规则 。

互联网的历史教了什么？

三人有一段共识性的回顾：

早期互联网病毒横行，已造成几百亿美元的经济损失，有的病毒搞掉了 10% 的互联网基础设施，医院都瘫痪过 。

Windows 95 装完盘就可能中蠕虫 ，直到 2001 年你都无法联网装一台不被感染的 PC 。按他们的说法，真的应该在 97 年左右就把互联网封掉 。

Martin在斯坦福读博时发现实验室示波器变卡，一查网络流量——设备里跑着一个老版本Windows CE，被人入侵后拿来当成人网站服务器了 。

那个年代翻开任何一块石头底下都有人入侵过什么东西，但最终大多是良性收场。

关键区别在于：过去制定政策时，手里有一堆具体的损害数据。而现在的AI监管是在预测尚未发生的坏事，这几乎做不好。

1986年的《计算机欺诈与滥用法》就是因为两伙黑客入侵了NASA和Livermore用的系统——一个黑客还住在Sinofsky宿舍里——花了两年半才通过，条款非常具体 。

今天需要的可能是这种基于事实模式的立法，而不是哲学层面的灭绝辩论。

真正的新风险：满网跑的agent

播客最有信息量的部分，是三人离开监管争论，谈具体的技术风险：当AI agent开始在企业内部网络里活动，现有安全模型基本作废。

原因是：过去信息安全能凑合，靠的是员工95%到99%的时间会做对的事，恶意员工万里挑一 。

而现在，「你的员工是一段软件」——是成千上万个不知疲倦、不会无聊、还会犯错的漫游无人机 。Sinofsky形容它们是roaming drones，量级乘上一万 。

后果很具体：没人觉得内部的GitHub或财务报销工具会被拒绝服务攻击，但一群agent同时涌向这些服务，看起来就是拒绝服务攻击。

企业需要一整套新层面，追踪每一次认证、每一次API调用 。

Aaron Levie指出现有系统太粗糙：现在的agent要么每动一步都问你，要么就能删掉你整台电脑。

你要给它的可能是「这个文件夹可读写、那个只可读」的细粒度控制，操作系统根本没为此设计 。

Martin反而觉得这是机会：多级安全这些老研究早就在论文里了，当年没人用是因为太难用。

现在用系统的是AI，不嫌麻烦——说不定是操作系统的一次复兴，用AI帮忙把安全内建的系统重新造一遍 。

创新中心正在移出实验室

最后聊到一个信号：一款模型能力层面的创新在实验室之外爆发，可能是ChatGPT之后 adoption 最快的一次 。

原理用大白话讲：

过去语言模型是文本进、文本出，你把它塞进传统软件时得在提示词里硬塞格式要求，模型还经常不理你，特别别扭。

新思路是：模型可以读文本，但输出时不生成文本，而是从你给的选项里挑一个——快得多、便宜得多、还更准 。

这恰好补上了软件工程里等了多年的缺口。

Sinofsky兴奋地补充：这其实是概率化编程的回归。

上世纪六七十年代，计算机科学的半壁江山就是概率if语句和模拟——比如导弹打靶要建模风向。

后来被会计式确定性计算取代了。现在if语句又变成如果有80%的概率。那些尘封的研究可以拿回来重新用了。

更宏观的判断是：

当一个平台长到足够大，创新就会从平台层移到平台之外——就像苹果社区说的Sherlocking，外面世界的新点子变成平台的功能。

模型实验室正在到达那个临界点，下一步最有意思的事，会发生在模型周围的软件里 。

本集带走

• pacing没有参照物：实验室从没公布过时间表，谈快慢是空话，而实际上钱和增长都在全速前进。
• 灭绝风险不能既当招聘筹码又当监管借口——真信就该国有化，不信就别拿它吓政府。
• 历史上成功的科技立法都基于已发生的具体损害；对还没出事的AI做预测性监管，往往两头不讨好。
• AI agent等于上万台不知疲倦的漫游无人机，企业内部员工大体可信的安全假设被彻底推翻，细粒度权限和内部API追踪必须重建。
• 创新中心正从模型实验室移向周边软件，读文本、选选项式的接口和概率化编程的回归是最新信号。

问题在于，欧洲将会在这方面领跑，因为他们没有什么可失去的。
The problem is that Europe is going to lead with that because they have nothing to lose.
—— Martin Casado · [00:47]

早期互联网充斥着病毒、蠕虫和安全故障。我们没有停止构建它。我们学会了如何让它更安全。
The early internet was riddled with viruses, worms, and security failures. We didn’t stop building it. We learned how to make it safer.
—— 嘉宾 · [00:58]

现在，如果他们实际上并不相信那一点——在我私下的谈话中，最有理智的人并不相信，只有一小部分人相信——那这就是一个人力资源问题。
Now, if they don’t actually believe that, and in the private conversations I have, the most sensible people don’t, it’s a small fraction that do, this is an HR problem.
—— Steven Sinofsky · [07:12]

所以你没法给进度踩刹车，因为根本没人知道它本来应该在什么时候完成。
So you can’t pace it because nobody knows when it was supposed to finish in the first place.
—— Martin Casado · [08:15]

如果你是那个最害怕因为你的产品而让一切走向何种结局的人，那就别做了。不要做。
If you are the most afraid of how everything is going to go because of your product, just stop. Don’t do it.
—— Martin Casado · [09:36]

而这是对政府运作方式的百分之百的彻底误解，事实是，当你和政府交谈时，他们其实知道这些东西是怎么运作的，他们知道他们只是在听你说话，他们在听所有人说话，没有人会得到自己想要的，因为他们知道，要在我们的体制里做成任何事情，那就是一种妥协。
And it’s a complete 100% misunderstanding of how government works, which is when you talk to the government, they actually know how these things work, and they know they’re just listening to you, and they’re listening to everyone, and no one is gonna get what they want, because they know in order to do anything in our system, it’s a compromise.
—— Martin Casado · [10:54]

嗯，下一次选举百分之百会是一场关于 AI 的公投。
Well, the next election will 100% be a referendum on AI.
—— Aaron Levie · [12:14]

它是防御性的，而且我们一个词汇都没占。
It’s defensive, and we own none of the vocabulary.
—— Martin Casado · [12:53]

只是我觉得一旦你说它是非零的，对于灾难性的东西，唯一的答案就是你必须把它国有化。
It’s just that I think once you say it’s non-zero, the only answer, of like catastrophic, the only answer is you have to nationalize it.
—— Martin Casado · [16:17]

有很多对科技行业积压的情绪，最后可能全都汇入 AI 监管。
There’s a lot of pent-up energy against tech that could end up just all siphoning into AI regulation.
—— Aaron Levie · [23:30]

我们真的应该在 97 年左右就把互联网封掉。
We really should have blocked the internet in like 97.
—— Aaron Levie · [24:00]

而智能体集群完全颠覆了这一点，因为它们就是一群到处游荡的无人机。
And agent swarms completely flip that because these are just roaming drones.
—— Aaron Levie · [36:11]

所以也许现在操作系统、网络和计算机语言会迎来一次复兴。而且我们应该回到那些旧的研究，我们应该开始重建那些在设计上就是安全的系统。
So maybe now is going to be a renaissance in operating systems and network and computer languages. And we should like go back to the old research and we should kind of start rebuilding systems that are secure by design.
—— Steven Sinofsky · [37:46]

比如，你知道为了互联网我们不得不改变技术栈里的多少东西吗？全部！
Like, you know how much of the stack we had to change for the internet? Everything!
—— Steven Sinofsky · [38:10]

如果你要是问我，就像我走进来时写在笔记上的，我最大的恐惧就是欧洲认定 GDPR 是有史以来最好的东西，然后他们要直接给 AI 套上 GDPR。
If you ask me, like, walking in, like, what I wrote down on my note, like, was my biggest fear is that Europe decides that GDPR was the best thing ever, and they’re gonna just GDPR AI.
—— Martin Casado · [41:29]

所以如果你在 1910 年就成立了 FAA，你根本不会有任何机会。
And so if you had started the FAA in 1910, you would never have a chance.
—— Martin Casado · [47:40]

所以突然之间，计算机科学里最酷的地方将变成概率编程，而这就像是 1960 和 70 年代计算机科学的全部内容。
And so suddenly the coolest place to be in computer science is going to be in probabilistic programming, which was like all of computer science in the 1960s and 70s.
—— Martin Casado · [51:10]

而然后当然，这可能会从根本上改变软件的性质，使它更具随机性。
And then, of course, this could change the nature of software fundamentally to make it more stochastic.
—— Steven Sinofsky · [53:53]

它发生在模型之外，因为我认为这就是将要发生的事，也就是创新的中心已经转移了。
It is happening outside the models, because that’s what I think is just going to happen, which is the center of innovation has just moved.
—— Martin Casado · [54:03]