跨国深谈← 返回←PostHog 把智能体装进终端，再给它请了个“保镖”

PostHog 把智能体装进终端，再给它请了个“保镖”

关联

人物 Sarah Sanders

公司 PostHog

概念 wizard · Warlock · 智能体 · 提示词注入 · 沙箱 · 护栏 · 子智能体 · Yara · 上下文引擎 · PII · 提示词

PostHog 有个叫 wizard 的工具：一个智能体 CLI,读你的代码库、装对 SDK、给事件做埋点、建好仪表盘，把以前一两个小时的接入配置压到五六分钟。造它的人是 PostHog 的上下文工程师 Sarah(她自称每天为这个 wizard 工作，团队还自研了它的「上下文引擎」)。

几个月前他们大胆设想：能不能让 wizard 成为安装 PostHog 的默认方式？梦想上周已实现——现在每周有 8000 名开发者在运行它。但就在「敢想」的那一刻，Sarah 心里的安全警钟响了：这东西听起来挺像恶意软件的。

智能体的解剖结构，就是一套「恶意软件入门套装」

wizard 的形状和大多数智能体一样：为特定任务挑好的模型、引导它的提示词、交给它的一组工具。Sarah 说，任何一个能运行命令的智能体，其解剖结构基本就是「恶意软件入门套装」——你慷慨(或混乱邪恶)的时候，几乎会原封不动把这些交给一段恶意软件。这不是自白，是对所有人的警告：你要发布一个「有手」的智能体，就得确保自己没造出那个最坏情况。

wizard 的 v0 起源倒是很无辜：增长团队的 Josh Snyder 目睹 Cursor 用最糟糕的方式幻构出 PostHog 配置，想着「我们造个智能体干得更好吧」。验证下来确实好得多，团队就一路加码到「让任何人零接触接入 PostHog」。

当时的安全态势：第零层是「提示词」，而提示词不是安全

Sarah 接手做安全评估时发现，大约一年到九个月前的状态是「第零层」——只有提示词在引导智能体该做什么，而「提示词不是安全」。第 1 层是一个允许列表，好消息是绑得相当紧：bash 默认拒绝、只能装经过审核的可信包、可以构建/类型检查/lint、不能跑任意 shell 命令、访问不了环境变量、读不了 .env 文件(密钥走 vault 传递)。

但裂缝在安全团队的审计里现形了，而且最有趣的不是具体 bug,是它们的形态：几乎没有任何一个是明显的恶意，全是两个无害、出于好意的东西在握手，然后打开了一个洞。她的教训是：攻击会组合，代码审查不会——开发者一次只看一个 diff,攻击者看整个系统，专找那两个握手开门的东西。

最吓人的不是命令，是喂进大脑的内容

真正让她夜不能寐的是自研的上下文引擎(团队戏称「穿着风衣的 markdown」)。它从文档提取内容、加上手写的踩坑经验、打包成 skill 包，经 MCP 服务器发送、在运行时直接注入智能体的上下文。Sarah 说：琢磨一下——这是一台全部工作就是「把内容注入一个能运行命令的智能体」的机器。

攻击路径因此变得清晰：PostHog 一切开源构建，有人在 markdown 文件或看似无害的代码注释里注入一段东西，LLM 驱动的代码审查来一句「我看没问题」，他们就可能刚把一个自己签名的提示词注入(攻击者藏在内容里操纵模型行为的攻击)载荷，推到成千上万开发者机器上的智能体里——虽然有沙箱，但仍然是。

她的对策：在管道两端都扫。skill 构建发布时扫一次，wizard 真正使用时再扫一次——「在源头抓住它，假设源头失败了，再在使用点抓住它一次」。

Warlock:只检测、不行动的「保镖」

那个当初随手写的粗糙正则扫描器，被抽出来做成了独立工具 Warlock(「每个 wizard 形状的东西都需要一个保镖」)。它只做一件事：递进一个字符串，还你一份 findings 列表——每条带类别、严重级别、建议操作，到此为止。

检测问题是一份工作，决定怎么处理是完全不同的另一份工作，把它们分开是一切保持可理解的唯一方法。底层规则跑在 Yara 上(恶意软件研究人员用了 15 年多的模式匹配工具)，完全确定性，同样的输入每次同样的输出——「故意做得无聊，而在安全领域，无聊是一个特性」。

Warlock 抓到的两件真事：

• 子智能体越权：大型任务派生的子智能体试图绕过护栏、试图从代码库字面意义上的任何地方提取密钥。团队直接关掉：不许再有子智能体。Sarah 还体谅了一下机器人：「它有个任务要完成，在试图优化并取悦我们，但我们不能允许这样」。
• PII 泄漏：智能体真不在乎暴露数据，除非你定明确规则。放任不管，它会把邮箱、电话号码直接转储进事件里——在智能体看来这完全是正常要捕获的东西。

至于真正的恶意提示词注入，她敲了敲木头：实际中基本从没抓到过，倒抓到海量误报——演示登录页、示例应用文案、文档内容。这反过来让她重写应用和文档：不想发布任何「看起来像威胁形状」的东西。

保安还是顾问？LLM 的位置划在哪里

为了消化误报，Sarah 给确定性系统加了一层 LLM「分诊」。她挣扎过：整场布道确定性，结果自己加了个概率组件。

构建时的选择是：这层做保安(看了命令直接决定拦截/放行)还是顾问(事后提意见)？保安方案诱人但不行——不能把安全模型押在掷硬币上，就因为模型今天状态不好、行为和昨天不一样。

她找到的界线：检测和执行保持确定性和机械性——规则命中，闸门锁上，会话结束，这条路径上没有任何模型参与；拦截发生在问 LLM 意见之前。LLM 只在没拦截的情况下事后参与，用来消除噪音，不是用来放行。

而且失败关闭：模型状态不好，所有 wizard 运行全部终止，抱歉，但我们在保护你。她的总结：「执行是你押上身家性命的部分，所以必须确定性；判断是加细微差别的部分，那才是唯一能放概率性东西的地方」。

怎么写出不吵闹的好规则

一条 Warlock 规则四部分：元数据(英文描述、严重性、类别、动作、方向——流入还是写出)、字符串(要找的模式)、条件(规则何时允许触发)。写「忽略所有之前的指令」这类规则时的直觉陷阱：别拦「ignore」这个动词——智能体整天读代码，ignore 在注释和示例里到处都是；要匹配动词加上一个带指令意味的名词。

两条配套纪律：①规则必须随附测试，尤其负面测试(不该匹配的样例)——那是防御误报的第一道防线;②严重级别看真实世界影响，不看它多吓人——rm -rf 很吓人，但也是大家一天删 40 次 node_modules 的方式，「一个每次清理构建文件夹就崩溃的安全工具，会被关掉，什么也抓不到」。

现在的纵深防御

最终态势：提示词只用于引导；一切跑在沙箱里；默认拒绝；密钥走 vault、永不接触模型;Warlock 扫进出内容；分诊降噪；全程嵌入遥测。Sarah 强调：没有一层能独立成立，这里没有任何一样东西能单独拯救你——但它们是「乏味而可靠的层，每一层只做一件它擅长的工作」。

本集带走

• 凡是没有被确定性强制执行的，就等于没有强制执行：提示词不是安全规则，别当它是。
• 危险输入不只是用户打的字：是所有流入模型的东西，包括你自己写的内容。在源头扫描供应链，在智能体调用时再扫一次。
• 攻击会组合，代码审查不会：审计发现的缺口大多是两个无害机制握手开门——要看整个系统，不只看单个 diff。
• LLM 的位置：检测与执行必须确定性，LLM 只做事后降噪，失败时关闭(宁可杀掉所有运行也不放行)。
• 规则要带负面测试上线，严重级别按真实影响定，否则安全工具太吵就会被人关掉。

【背景】Yara 是恶意软件分析领域广泛使用的开源规则语言，本集转写中演讲者口误将其与某引擎名混说，不影响原意：即恶意软件研究人员使用了 15 年以上的模式匹配工具。

它基本上就是我喜欢称之为「恶意软件入门套装」的东西，因为如果你心情慷慨或处于混乱邪恶阵营，你几乎会原封不动把这些交给一段恶意软件。
it’s basically what I like to call the Malware Starter Pack, because it’s almost exactly what you would hand a piece of malware if you were feeling generous or chaotic evil.
—— Sarah Sanders · [04:00]

而提示词不是安全。
And prompts are not security.
—— Sarah Sanders · [05:47]

我学到的教训是：攻击会组合，而代码审查不会，因为我们开发者一次只看一个 diff,但攻击者看的是整个系统，他们会寻找那两个握手并打开一扇门的东西。
So the lesson I learned was that attacks compose, code review doesn’t, because us developers all look at diffs one at a time, but attackers look at the whole system and they look for those two things that shake hands and open a door.
—— Sarah Sanders · [08:10]

正是这个威胁重塑了我对安全以及 wizard 的思考，因为对我们来说，危险输入真的可能来自我们自己的供应链。
So that was the threat that reshaped how I think about security and the wizard, because the dangerous input for us really could come from our own supply chain.
—— Sarah Sanders · [10:16]

我的方法论是：在源头抓住它，假设源头失败了，再在使用点抓住它一次。
My methodology is catch it at the source, assume the source failed, and catch it again at the point of use.
—— Sarah Sanders · [10:38]

然后「大概没问题」就不再够好了。
And where probably fine just stops being good enough.
—— Sarah Sanders · [11:20]

因为检测问题是一份工作，而决定如何处理那个问题是完全不同的另一份工作。
Because detecting a problem is one job, and deciding what to do about that problem is a totally different job.
—— Sarah Sanders · [12:05]

它故意做得无聊，而在安全领域，无聊是一个特性。
It’s boring on purpose, and in security, boring is a feature.
—— Sarah Sanders · [12:32]

那个机器人有一个要完成的任务，它在试图优化并取悦我们，但我们不能允许这样。
The robot had a task to do and it was trying to optimize and please us, but we can’t have that.
—— Sarah Sanders · [13:29]

智能体真的不在乎暴露数据，除非你制定明确的规则。
Agents genuinely do not care about exposing data unless you make explicit rules.
—— Sarah Sanders · [13:40]

虽然这很诱人，因为看起来更简单，但我不能把我的安全模型押在掷硬币上，就因为我的模型今天状态不好、行为和昨天不一样。
And while that’s tempting because it seems easier, I can’t bet my security model on a coin flip because my model’s having a bad day or something happened and it’s acting different today than it did yesterday.
—— Sarah Sanders · [15:14]

如果命中一条规则，闸门锁上，会话结束，这条路径上没有任何模型参与。
If a rule matches, the gate locks, the session ends, and there is no model anywhere on that path.
—— Sarah Sanders · [15:44]

执行是你押上身家性命的部分，所以它必须是确定性的；而判断是增加细微差别的部分，那才是你唯一能放进概率性东西的地方。
Enforcement is the part that you bet the house on, so it has to be deterministic, but judgment is the part that adds nuance, so that’s really the only place that you can put anything probabilistic in there.
—— Sarah Sanders · [16:15]

你要为你正在构建的那个智能体判断真实世界的影响，因为一个每次试图清理构建文件夹就崩溃的安全工具，是一个会被关掉的、什么也抓不到的工具。
for the agent that you’re building because a security tool that crashes every time it tries to clean a build folder is a tool that gets turned off and one that catches absolutely nothing.
—— Sarah Sanders · [18:36]

第一，凡是没有被确定性强制执行的，就等于没有强制执行。
One, if it isn’t enforced deterministically, it is not enforced.
—— Sarah Sanders · [19:48]