红队测试 (red teaming)
集里怎么说它
- 《当 AI 变成黑客武器:给企业智能体修防火墙》(08:06起):本集把它说成:通过模拟黑客攻击来主动发掘模型软肋的过程。文中探讨了人类红队测试员和自动化红队测试模型,并指出对抗性的红队测试还能用来逼出模型因「藏拙」而隐藏的真实能力。
- 《AI 智能体怎么认证：从标准到红队测试的全流程》(08:37起):本集说它设计约 100 个攻击场景，从良性提问到多轮社会工程攻击，分两轮进行，发现问题后给 1-4 周修复时间，每季度复测
- 《产品经理驾驭 Claude 生态：用五层架构打造专属 AI 幕僚长》(78:42起):在黑客马拉松演示中，作为系统设定的自动攻击循环机制，对抗智能体对生成器智能体不断进行红队测试，直到它扛住所有对抗攻击并达到及格线为止。
- 《语音智能体比犯罪更可怕？Hamming CEO 谈可靠性》(14:26起):本集说 Hamming 四月上线红队测试产品,实测约五分之一的智能体能被攻破,并建议给智能体跑 7×24 小时不间断的红队测试。
- 《把模型护栏做成可开关的生意：Obliteration 与「无限制 AI」》(05:50起):本集把红队测试说成:模拟威胁行为者攻击公司推出的智能体或 AI 系统;大公司 CISO 主动用无限制模型先测自己的系统。
- 《模型不再是护城河，谁在围绕模型建「自己的智能」》(28:47起):本集说 Engine v2 的红队测试能主动模拟问题和假设去打你的部署,识别坏结果并标记,也能自动生成初始评估集。
- 《当网络攻击从人类速度变成机器速度，防御也必须自动化》(18:36起):本集说红队测试是渗透测试之外的更完整对手模拟，过去成本和人力太高无法常做，有了 AI 智能体现在可以持续进行；Armiden 的运营团队职业生涯里给财富 100 强中的 99 家做过红队测试。
- 《AI 写代码快，黑客攻击更快：安全测试得改成全天候》(09:56起):本集把智能体红队说成：执行多步骤攻击（模拟提示词注入、数据外泄）并与动态测试结合的进攻性安全概念
- 《像经营世界上最大的创业公司一样经营思科》(26:34起):本集说思科的模型验证包括算法化红队测试，测试能否越狱模型，并在运行时动态强制执行护栏。
① 提到它的金句
4 条
这个问题在于前沿模型在自动化红队测试方面极其糟糕,因为它们内置了大量的保障措施。
指向原始笔记的链接
the issue with this is that frontier models are extremely bad at automated red teaming because they have a lot of safeguards built into them.
—— Zico Kolter · [09:59]
我认为我们每季度的红队测试非常像医生的看诊，你会从头到脚检查一遍。你做核磁共振扫描，你做血液测试，你就像伊丽莎白·霍姆斯试图用 Theranos 阻止的那些事情，我们都会对你做，而且我们会做上十遍。
指向原始笔记的链接
I think our quarterly red teaming is is very much alike to the doctor’s visit where you go from head to toe. You go through the MRI scanner, you go through the blood testing, you like everything that Elizabeth Holmes tried to prevent with Theranos, we will do to you and we will do it 10 times over.
—— Emil Lassen · [37:24]
我觉得我们现在的新建议是：为你的智能体进行 7×24 小时不间断的红队测试，尤其是当你认为不良交互的代价可能相当大的时候。
指向原始笔记的链接
And I think our new recommendation now is to run 24-7 red teaming for your agents, especially if you believe the cost of bad interactions can be rather large.
—— Sumanyu Sharma · [14:26]
红队测试和渗透测试的区别在于，在我看来渗透测试只是一种卫生步骤。
指向原始笔记的链接
And the difference between red teaming and pen testing is pen test to me is a hygiene step.
—— Kevin Mandia · [18:36]
② 出现在这些集
9 集
- 《当 AI 变成黑客武器:给企业智能体修防火墙》 — 作为概念
- 《AI 智能体怎么认证：从标准到红队测试的全流程》 — 作为概念
- 《产品经理驾驭 Claude 生态：用五层架构打造专属 AI 幕僚长》 — 作为概念(提及)
- 《语音智能体比犯罪更可怕？Hamming CEO 谈可靠性》 — 作为概念
- 《把模型护栏做成可开关的生意：Obliteration 与「无限制 AI」》 — 作为概念
- 《模型不再是护城河，谁在围绕模型建「自己的智能」》 — 作为概念
- 《当网络攻击从人类速度变成机器速度，防御也必须自动化》 — 作为概念
- 《AI 写代码快，黑客攻击更快：安全测试得改成全天候》 — 作为概念(提及)
- 《像经营世界上最大的创业公司一样经营思科》 — 作为概念(提及)
③ 关联
点进去有真内容 —— 本页主要出口
智能体 · 护栏 · Anthropic · 可观测性 · OpenAI · Codex · 提示词注入 · Claude Code · 评估 · 开源模型