跨国深谈← 返回←语音智能体比犯罪更可怕？Hamming CEO 谈可靠性

语音智能体比犯罪更可怕？Hamming CEO 谈可靠性

关联

人物 Sumanyu Sharma

公司 Hamming · Citizen

概念 语音智能体 · 智能体 · 可靠性 · 红队测试 · 跨对话分析 · 评估 · 监控

这一集是 Hamming 创始人兼 CEO Suman Yu 的一次演讲。他在做语音智能体(能打电话、跟人对话并替你办事的 AI)可靠性与安全之前，在纽约一家叫 Citizen 的公司工作——那款应用收听数千小时的警察电台数据，向旧金山、纽约、洛杉矶等城市的用户实时推送犯罪警报，比如有人从 Safeway 偷了几袋冰淇淋，或者一个女人偷了梯子之后一个男人挂在房子边上。

所以当他开头说「语音智能体比犯罪更让我害怕」时，这话是有分量的。理由是：语音智能体正从演示和概念验证毕业进入生产环境，以让 Gary Tan 和 Paul Graham 都会骄傲的规模跟真实用户通话——但声音听起来自信自然，提供的信息却常常是错的 。

可靠性仍是第一大问题，而且实际错误率比你以为的高

技术底座确实在变好：底层基础设施和编排显著改善，语音到语音模型在进步，团队在试验混合架构(结合语音到语音模态和级联技术栈)，让体验可靠还保持低延迟。智能体也开始连接日历、CRM、EHR、预订系统——它们能真正采取行动了 。

但可靠性仍然是阻碍大多数语音智能体大规模部署的第一大问题。他举了两个例子：一个是 Twitter 上找到的真实录音，用户想问以旧换新的信息，被智能体给的答案搞得完全糊涂，人工销售不得不打电话补救信任；另一个是他自己的亲身经历——他以为预约上了医生，到了现场发现日程表上根本没他，被前台打发走，白浪费两小时。

「对我来说这只是浪费时间。但如果这是你的父母、祖父母呢？

如果这个预约不是体检、而是一个手术呢？」同一种失败模式在不同情形下，代价可能极高 。

量级账是这样算的：每年至少有 1 万亿次通话在进行，未来五年其中大部分将由对话式语音智能体完成；假设 1% 的错误率，那就是每年 100 亿起事故 。而他实际监控着 10,000 个智能体，真实错误率更接近 10%——错误包括：声称找到了正确的政策、实际跳过了资格或验证步骤；不该打折时打了折；听错对方的话；提供错误信息；或者声称已预约、实际没约 。

用做犯罪监控的框架来做语音质量：先识别、按影响排优先级

他从 Facebook 的元老级增长人员朋友那里借来一套框架，分六步：①识别对话体验中的所有问题；②按影响规模排优先级(做频率和严重程度分析)；③理解怎么修；④执行；⑤检查改动真的起作用了吗、有没有在其他地方造成回归；⑥在生产环境持续监控。

这个框架有两个关键维度。纵轴上，一边是已知问题——轮次延迟、打断、已知的 ASR(语音识别)问题，团队应随时间追踪；另一边是只有跨越大量对话才能看出来的新兴行为或模式。横轴是覆盖率，就像保险：你分析的是少量对话还是非常多的对话？

关于怎么爬这个覆盖率的梯子，他的建议很明确：大多数团队从人工听通话开始，而且不应该跳过这一步——「通过真正去听具体的对话，你能获得很多深度和洞见，建立来自那种直觉的质感」。但它不可扩展，所以下一步通常是做一个电子表格，列五到十条评分标准，涵盖问候语、结束语、认同、核心逻辑等；再往上就是投资评估产品，跑 LM 作为裁判(用大模型当评审给通话打分)，加上确定性和随机性的评分逻辑。

但这里有个陷阱：你仍然困在检查已知问题的一致性上，却没有真正发现跨对话中实际发生的新洞见 。他和他们合作的最优秀团队，都花大量时间做**跨对话分析**——不是看单通电话里的模式，而是跨对话的模式。

优先级上，他把问题分四类：一次性低影响的问题「谁在乎呢」；低影响但系统性的问题(比如智能体的重复)虽然烦人，但如果你在做对比评测(bake-off,多个方案打擂台)，仍然值得解决，不要忽视；一次性但高影响的希望只是偶发；而系统性且高影响的是团队的 P0 目标。一个典型例子：金融服务场景中帮用户冻结信用卡的语音智能体，如果它做不到，那是巨大的失败 。

修复是最容易的一步，难的是验证改动没把别处弄坏

「请修复我的智能体」——他说修复其实是整个调试循环里最简单、投入最低的部分 。真正的问题在下一步：你改了系统，怎么真正知道它有效？

朴素但不错的方法：拿一通真实的失败通话(比如他那个没约上的医生预约)，原样重放，跑 5 次、10 次、20 次、50 次，看通过这类通话的概率是多少。更好的方法：保持相同意图，但改变措辞、口音、风格，再往组合里加一个新意图——这给团队好得多的覆盖面，让你有信心确认改动是净正向而不是净负向的 。

有些修复在部署前的合成环境里根本没法测。比如外呼智能体，对话的前五秒往往最重要——语音质量和开头用的具体词最关键，对它做 A/B 测试是真实场景里拿到结果的唯一方法，仅靠模拟做不到 。

攻击面：五分之一的智能体能被攻破

让语音智能体有用本来就难——哪怕电话另一端是只想解决问题的真诚用户。但当恶意攻击者学会拨号呢？他半开玩笑地说：如果 AI 能从 NSA 提取机密，它当然也能诱骗你泄露 PHI(受保护的健康信息)和 PII(个人身份信息)数据 。

这里有个朴素的常识链条：给智能体更多能力、更多数据、更多工具、更快部署的压力越大，攻击面就越大；而语音智能体越自然、越像人，被武器化的人骗到的真人也会越多 。这不是理论推演——他的公司四月上线了红队测试产品(用对抗手段主动攻击自己的系统找漏洞)，只为验证一个假设：到底能攻破多少个智能体。答案是大概每五个能攻破一个，横跨金融服务、医疗保健、消费等领域——他们绕过了身份验证，用话术诱导模型违反规则，拿到了本不该拿到的数据 。

防御只有两条：第一，深入投入部署前测试——文本对文本或语音对语音都可以，各有利弊，核心是确保你面对真心想解决问题的真人时不会自摆乌龙；第二，建立全方位的监控系统——逐次通话打分、人工评估、监听对话、跨通话分析，既监控智能体的言行，也监控用户(用户是否有对抗性、是否在欺骗智能体)。他现在的新建议是：给智能体跑 7×24 小时不间断的红队测试，尤其当你认为不良交互的代价可能很大的时候 。

为什么比犯罪更可怕：爆炸半径与「总会轮到你」

他在 Citizen 的经历给了他一个独特的对比视角。犯罪在随时间减少，而且高度本地化、去中心化——抢劫、盗窃影响的是当下场景里有限的几个人。

语音智能体则相反：部署在快速起飞，而且高度集中——一个提示词的改动或架构改动，可能对身处交火中的数百万用户产生巨大的下游影响。「所以爆炸半径相当大」。

我们想到犯罪时，总觉得它发生在别人身上。但语音智能体的事故数量即将大幅攀升，「所以我相比犯罪更害怕语音智能体的原因是：这些事故中总有一桩会波及到你。

在我身上已经发生了」。愿景本身他并不悲观——语音智能体有巨大潜力让世界更有人情味，取代笨重的 IVR 按键树、聊天机器人，或者被晾在等待接听的电话里。前提是把可靠性这件事真正当回事。

本集带走

• 先人工听通话，别跳过这步：它不可扩展，但你能从中建立对真实对话的直觉质感；之后再用评分表、评估产品逐步扩大覆盖率。
• 做跨对话分析，别只看单通电话：逐通话打分只能检查已知问题的一致性，真正的新洞见藏在大量对话的跨对话模式里。
• 验证改动用「变体重放」：拿真实失败通话重放几十次只是起点；更好的做法是保持意图不变、改变措辞/口音/风格并加入新意图，才能确认改动是净正向。
• 有些事只能靠线上 A/B 测：外呼智能体的前五秒(语音质量+开头措辞)在合成环境里测不出来，必须真实分流。
• 把红队测试当标配：实测约五分之一的语音智能体能被攻破、验证可被绕过；部署前测试 + 全方位监控 + 7×24 红队，是对抗黑魔法仅有的真防御。

所以我认为语音听起来非常自信、非常自然，但提供的信息往往不正确。
So I think voices sound very confident, they sound very natural, but the information provided is often not correct.
—— Sumanyu Sharma · [03:37]

而在未来五年，其中大部分将由对话式语音智能体完成。
And majority of these will be done by conversational voice agents over the next five years.
—— Sumanyu Sharma · [04:45]

如果假设 1% 的错误率，那每年仍有 100 亿起事故。
If you assume a 1% error rate, that is still 10 billion incidents per year.
—— Sumanyu Sharma · [04:50]

通过真正去听具体的对话并建立来自那种直觉的质感，你能获得很多深度和洞见。
There’s a lot of depth and insights you get by actually listening to specific conversations and building that texture that comes from that intuition.
—— Sumanyu Sharma · [08:12]

所以如果它能从 NSA 提取机密，它当然也能诱骗你泄露受保护的健康信息和个人身份信息。
So if we can extract trade secrets from the NSA, it can certainly seduce you into revealing PHI and PII data as well.
—— Sumanyu Sharma · [12:13]

能力越大，攻击面越大。
The more the capability, the bigger the surface area.
—— Sumanyu Sharma · [12:45]

而且语音智能体变得越自然、越像人，对于那些武器化它的人来说，过程中被欺骗的人类也会越多。
And the more the voice agents become natural and human sounding, the more humans will be tricked along the way as well for those who are weaponizing.
—— Sumanyu Sharma · [12:50]

到目前为止，我们大概能攻破五分之一的智能体。
And we can probably break one in five agents at this point.
—— Sumanyu Sharma · [13:11]

我认为对抗黑魔法唯一真正的防御是：第一步，深入投入部署前测试。
I think the only real defense against the dark arts is step one to invest deeply in pre-deployment testing.
—— Sumanyu Sharma · [13:37]

我觉得我们现在的新建议是：为你的智能体进行 7×24 小时不间断的红队测试，尤其是当你认为不良交互的代价可能相当大的时候。
And I think our new recommendation now is to run 24-7 red teaming for your agents, especially if you believe the cost of bad interactions can be rather large.
—— Sumanyu Sharma · [14:26]

所以我相比犯罪更害怕语音智能体的原因是：这些事故中总有一桩会波及到你。
And so the reason I fear voice agents more than crime is that one of these incidents is going to impact you.
—— Sumanyu Sharma · [15:15]