跨国深谈← 返回←越狱 (jailbreak)

集里怎么说它

• 《当 AI 变成黑客武器:给企业智能体修防火墙》(09:03起):本集把它说成:突破大模型内置安全限制的行为。由于前沿模型自带极强安全护栏,直接用它们去越狱其他模型往往会被拒绝执行。
• 《AI 智能体怎么认证：从标准到红队测试的全流程》(12:17起):本集说红队测试能持续发现智能体的越狱漏洞，所有智能体系统在足够压力下都能被越狱

① 提到它的金句

2 条

因为我们发现的是，虽然我们通常可以越狱模型，很难让它在思维链中推理时，对自己即将做的坏事闭嘴。
Because what we found is that even though we can usually jailbreak the model, it’s really hard to get it to shut up about the evil thing that it’s about to do when it’s reasoning in the chain of thought.
—— Adam Gleave · [33:19]

指向原始笔记的链接

坏消息是，我们越狱一个开源权重模型从未超过几个小时。
And the bad news is that it’s never taken us more than a few hours to jailbreak a open weight model.
—— Adam Gleave · [69:08]

指向原始笔记的链接

② 出现在这些集

2 集

• 《当 AI 变成黑客武器:给企业智能体修防火墙》 — 作为概念
• 《AI 智能体怎么认证：从标准到红队测试的全流程》 — 作为概念

③ 关联

点进去有真内容 —— 本页主要出口

智能体 · 红队测试 · 提示词注入 · 护栏 · Zico Kolter · Daniel Whitenack · Matt Fredrikson · Emil Lassen · Gray Swan · the artificial intelligence underwriting company