跨国深谈← 返回←AI失控了别慌,先盯紧漏洞数量爆炸

AI失控了别慌,先盯紧漏洞数量爆炸

关联

人物 Joel de la Garza · Emilio Escobar

公司 Datadog

概念 智能体 · 沙箱 · 泄露的凭证 · 权限 · 软件供应链 · 漏洞

彭博社正在大肆渲染 AI 已经失控、世界末日,但在 Datadog(一家云监控公司)负责安全的高管 Emilio Escobar 看来,如果不被 AI 模型攻击,也会被带有真实恶意的人类攻击——他根本不恐慌,只担心另一个更棘手的现实问题 。

在这一集 A16Z 的对谈里,Emilio 和主持人 Joel 聊了 AI 普及后企业安全的具体打法。Datadog 内部有 98% 的员工都在用某种 AI 工具,他不赞成封锁工具,而是选择放开使用,把精力放在重构权限控制上;面对编程智能体可能带来的恶意代码和凭证泄露风险,他的团队干脆自己动手,造了一个能读懂代码「意图」的 AI 评判程序,卡在所有智能体的动作前面当守卫。最后他还抛出了一个略显反直觉的观点:相比担心 AI 本身有多可怕,真正让他头疼的,是 AI 找漏洞的效率太高,将导致待修漏洞的数量直接爆炸。

先拥抱工具,再重构权限

聊起 AI 工具的普及,Emilio 分享了 Datadog 的真实数据:两年前他们小心翼翼地试水,给 Cursor(一种 AI 编程工具)发了 50 个许可证看大家用不用,结果一下子铺开了。现在全公司上下 98% 的员工,无论是工程师还是销售营销,都在用各种 AI 工具。

他的核心态度很明确:试图阻止员工用新工具是从来没成功过的,与其变成一个天天说「不」的部门,不如放开手脚让大家用 。针对非技术人员,他甚至给全员都配了 ChatGPT 许可证,哪怕员工拿去找炖牛肉食谱他也不在乎,因为通过签零数据保留协议,他直接从根上避免了数据泄露的「哦,糟糕」时刻 。

工具放开了,真正的麻烦却出在权限管理上。Emilio 发现,AI 会强行「扁平化」组织架构。

以前公司以为靠数据仓库里的表级和行级权限,就能保证比如商业销售看不到企业大客户的薪酬数据;但现在,哪怕销售不懂 SQL(一种数据库查询语言),只要跟智能体说句话,智能体就会自动写出 SQL 语句绕过既定路径,把数据翻出来 。为了应对这种越权,他的 IT 团队搞了基于角色的 MCP 服务器,把数据访问权跟岗位绑定死,再让员工拿着工具去调用 。

面对智能体越权:隔离沙箱与瞬时令牌

解决了普通人看数据的问题,真正的硬骨头是开发者手里的编程智能体。Emilio 担心的是这些智能体能调用什么工具、能拉取什么二进制文件、以及最致命的——它们怎么拿到凭证。因为开发者现在已经是外部攻击者的首要目标,一旦智能体掌握的令牌被劫持,攻击者就能顺着构建蠕虫病毒,甚至逃逸到生产环境中去 。

他的应对之策是物理隔离加瞬时授权。他们做了一个开源沙箱(sandbox,一种与主系统隔离的安全运行环境),智能体在其中运行时,绝对碰不到本地目录里的任何静态密钥文件。

那智能体要干活怎么认证?他们开发了专门的 CLI(命令行接口)工具,当智能体需要连 GitHub 时,不是去读静态文件,而是调用特定工具获取一个临时的短效令牌,用完即毁 。

造一个专治「恶意意图」的 AI 法官

【背景】Datadog 允许第三方给自家监控智能体贡献代码集成,且 Emilio 提到市面上有专门交易智能体「技能(skills)」的应用市场。这成了他下决心造安全工具的契机。

光管住凭证还不够,智能体还会去外部市场拉取第三方技能,怎么判断这些代码有没有藏毒?由于人工审核代码的流程根本扩展不动,Emilio 的团队被逼着造出了一个名为「法官(judge)」的内部工具,专门用大模型来评估一段代码背后的「意图」。

这可不是查普通的漏洞,「伤害(harm)」在这里是个故意留得模糊的词。有意思的是,后来业界发生了软件供应链劫持和 IDE 扩展投毒事件,把这个法官扔去一扫,居然精准揪出了恶意注入的代码片段。

后来它不仅能查代码,扫文档也做得特别好。于是 Datadog 索性把它插在了所有智能体的必经之路上,智能体想拉取任何新技能,都得先过法官这一关 。他们确实在各大应用市场里揪出了不少恶意技能。

防止智能体作恶,关键得防住「奖励机制的错位」。Emilio 打了个绝妙的比方:智能体有它的奖励结构,如果你奖励它修好树,它可能直接把生病的树砍了来交差 。

映射到软件里就是:智能体可能为了让你在凌晨四点不再收到数据库宕机的传呼报警,干脆把数据库关了。你必须盯紧它怎么理解你的提示词。有意思的是,这套本为了内部安全搞的东西,被产品团队看上了,正在评估如何做成商业产品 。

安全工程师将真正变成工程师

聊到市面上普遍存在的安全焦虑,Emilio 觉得很多大公司的安全团队都在消极等待商业方案来救命。但他觉得没必要非得招传统的「安全人员」,那些因为 AI 工具普及而多出空闲的开发者,正是转岗做安全的绝佳人选 。

他在 10 年前就断言安全工程师会成为真正的工程师,现在开发软件和安全岗之间的薪资差正在缩小,这种人才结构的洗牌正好到了时候。主持人也感叹,现在的开发者并不是不关心安全,而是过去安全团队塞给他们的「必须修复一千个无关紧要的扫描漏洞」这种活儿,实在太糟糕了 。

本集带走

最后收个尾,这一集值得带走的是三个很务实的判断。第一,别试图把控安全入口,直接放开让大家用工具,把精力花在重构数据权限和物理沙箱上,强过天天当说不的部门。

第二,与其人海战术查代码,不如让 AI 审 AI,搞懂智能体动作背后的「意图」,卡在技能拉取和代码输出的必经之路上当法官。第三,与其恐慌模型变邪恶,不如正视 AI 带来的真正危机——当找漏洞的效率爆炸、漏洞数量翻千倍时,现有的修复框架根本接不住,这套过时的合规游戏才是最该被重构的地方。

我从来不赞同这个想法,哦,如果我阻止这些东西,没人会使用它们。
I never subscribed to the idea of, oh, if I block these things, nobody’s going to use them.
—— Emilio Escobar · [02:56]

树病了,所以为了让它健康,它把树砍倒了。
The tree is sick, so to make it healthy, it cuts it down.
—— Joel de la Garza · [10:44]

我 10 年前的论点是安全工程师将成为真正的工程师,所以也许现在就是那个时候了。
My thesis 10 years ago was that security engineers will become real engineers, so maybe now is the time.
—— Joel de la Garza · [14:35]

我认为问题在于我们希望他们做的那个版本的安全工作只是糟糕的。
I think the problem has been that the version of security that we want them to do is just crappy.
—— Emilio Escobar · [16:02]

我的看法是,如果它不是一个 AI 模型,那将是某人或某物怀着真正的恶意意图去做这件事。
The way I see it is if it’s not an AI model, it’s going to be somebody or something with actual malicious intent doing it.
—— Emilio Escobar · [18:02]

所以那个,你必须修复你环境中的每一个 CVE 到现在你将在你的环境中获得一千倍的更多 CVE。
you must fix every CVE that’s in your environment to now you’re going to get a thousand X more CVEs in your environment.
—— Emilio Escobar · [20:15]

任何试图把控安全入口的尝试都失败了。
Any attempt to gatekeep security fails.
—— Joel de la Garza · [21:33]