跨国深谈← 返回←语音智能体不一定要说话:OpenAI 的三种语音交互模式

语音智能体不一定要说话:OpenAI 的三种语音交互模式

关联

人物 Charlie Guo

公司 OpenAI

概念 语音智能体 · 语音转语音 · 语音转动作 · 事件转语音 · 计算机使用 · Realtime 模型 · 推理能力 · 工具调用 · 前导语 · 延迟 · 转写 · 护栏 · 大语言模型 · AGI

「语音智能体必须用语音回应」——OpenAI 开发者体验团队的 Charlie 认为这是当前最大的误解。他在这次演讲中想让大家带走的一点是：语音并不是语音模型回应的唯一方式。模型已经足够智能，开始解锁一些新的设计模式 。

三种正在涌现的模式

Charlie 把当前的语音交互归纳为三类：语音转语音、语音转动作、事件转语音。他说了两个前提：第一，这些模式并不新鲜——打电话查电影放映时间的热线可以算是语音转语音的雏形，车载 GPS 导航则是事件转语音的老前辈；第二，它们可以混搭，最好的产品往往是把几种模式组合起来 。

语音转语音大家都熟：用户说话、模型回话。典型场景有语言学习的实时练习与辅导(模型能听到重音和情绪并给出反馈)、「礼宾体验」(其实就是客户支持++,做出比电话树愉快得多、甚至比中等水平人工客服更 pleasant 的支持体验)，以及几乎零延迟的实时翻译——他预计明年 OpenAI 的主题演讲就会在直播的同时实时配多语言配音 。

语音转动作是他认为探索最不充分的领域——他差点把演讲命名为《语音是下一个能力过剩》。用户说话、模型调用工具，至少有三类应用 :

• 表单填写：互联网上太多东西就是填表。如果不用花一小时填政府文件，而是说五分钟话就能完成 90%、再快速检查一遍，这会影响「互联网相当大的一块 GDP」。
• 创意工具：Charlie 说自己会说「软件这门语言」，所以能让 Codex(OpenAI 的编码智能体)精确实现想要的东西，但做音乐、绘画时做不到——「我的品味超出了我的能力」。把语音接进创作工具，就能磕磕绊绊地「vibe 作曲、vibe 绘画」。
• 计算机使用：可推广的终极形态。如果模型已经好到能做人类在电脑上做的一切，为什么还要跟一个应用、一个终端对话，而不是直接跟整台电脑对话？

具体到开发者怎么落地：现代 Web 应用已经把功能暴露成了「名词和动词」——API 端点、React hooks——每一个都可以相对容易地转换成暴露给模型的工具，用户就能用语音驱动你现有的软件(当然仍需护栏和安全检查)。而且回应不必靠说话：通知、弹窗、改按钮颜色、高亮文本、Codex 应用里那个替你点击的「幽灵光标」动画，都是几十年积累的沟通方式。

事件转语音:模型接收事件、主动与用户交谈，目前仍非常早期。他看到的两条主线是免手/免屏体验(做饭时问食谱应用「现在怎么样了」)和主动触达——开发者不会把所有日志都显示出来，更不会都念出来，但可以把语音构想成一条递进路径的最高层：先让界面动一动，再弹窗，都不奏效才开口说话 。

这些背后还有一个更大的主题：可访问性。Charlie 认识好几位在职业生涯中失去手部灵巧的开发者，他们本以为编程生涯结束了，但大语言模型、编码智能体和语音智能体来了之后，他们生成的代码比以前多了几个数量级 。

为什么是现在:Realtime 模型的技术转向

传统语音智能体是链式构建：说话 → 转录 → 发给语言模型 → 调工具 → 生成文本 → 合成音频 → 播放。而 OpenAI 的 Realtime 模型系列在幕后不做任何转录——它以原生音频作为 token 训练，音频进、音频出，行业整体也在朝这个连续流式音频的方向走，连回合制抽象都在放开 。

这么做的原因：转录会丢失大量信息。语调、节奏、情感冲击、对方是否想打断你、背景噪音——这些都是模型理解时非常重要的上下文。更量化的理由是，ChatGPT 最早的两个语音模式用链式方法构建，延迟显著高于用原生方法的高级语音模式 。

在此背景下他介绍了 GPT Realtime 2(几个月前发布)，最大的亮点是把推理带入音频媒介——像文本模型一样可以在说话之前先思考，你可以给它更多推理预算来得到更好的回答。它还支持并行工具调用，而思考加调用会增加延迟，于是又加了**前导语**：提示模型在思考或调用工具前先给用户提个醒——就像打电话给旅行代理时，对方会说「我去查一下机票价格，给我几秒钟」。此外它有更长上下文、更好的领域理解、更自然的声音、更强的可引导性，还支持唤醒词(可以给它起名字，比如演讲现场的「Marin」)。

怎么开始

Charlie 最后给的建议是：构建语音智能体时，不要从「我想构建什么样的语音智能体」这个问题开始，而要从「语音和音频在这个交互中的角色是什么」开始 。这个问题会引出一连串后续：模型能感知什么？

有什么上下文？有哪些工具、哪些该安全正确地执行？

现在沟通还是等待？用视觉通知还是音频？

他的收尾判断：「我相信 AGI 将是被说出来的，而不是被打出来的」。

本集带走

• 别默认语音智能体必须说话：回应可以走通知、弹窗、界面状态变化、光标动画——语音只是递进路径的最高一层，前面还有动画和弹窗。
• 给现有软件加语音层比想象容易：把已有的 API 端点、React hooks 转换成暴露给模型的工具，用户就能用语音驱动现有应用；剩下的工作主要是护栏和安全检查。
• 语音转动作是最被低估的方向：表单填写、创意工具、计算机使用都有大量空白，尤其是「品味超出能力」的人可以用语音驱动创作工具。
• 原生音频优于链式转录：转录丢掉语调、节奏、打断意图和背景噪音，且延迟更高；行业在向连续流式音频进出走。
• 设计前的关键问题：先问「语音在这个交互里的角色是什么」，再依次想清楚感知、上下文、工具、时机与方式。

我差点把这次演讲命名为《语音是下一个能力过剩》，因为我认为在这个类别中有大量的东西我们本可以做，而我们现在没有做。
I actually almost titled this talk Voice is the Next Capability Overhang because I think there is just a vast, vast amount of stuff that we could be doing in this category that we are not currently doing.
—— Charlie Guo · [04:15]

所以我认为表单填写虽然看起来可能无聊，却影响着互联网相当大的一块 GDP。
And so I think that one is, though it may seem boring, affects a significant GDP of the internet.
—— Charlie Guo · [05:07]

如果我没能力准确表达出我追求的审美，又不会用 Photoshop 或 Ableton,我就处于一种品味超出能力的状态。
And so if I don’t have the ability to articulate the exact aesthetic that I’m looking for, and if I don’t know how to use Photoshop or Ableton, I’m left in this state where my taste exceeds my capability.
—— Charlie Guo · [05:34]

这就引出了一个问题：如果模型已经好到能做人类在电脑上做的一切事情，那我为什么还要和一个应用对话？
It raises the question of, look, if the models are just getting good enough to do everything on a computer that a human can do, why am I talking to an app?
—— Charlie Guo · [06:07]

每个开发者的软件中都有无穷无尽的通知和事件，但任何头脑正常的开发者都不会说「我应该展示所有这些日志」，更不会说「我应该把所有这些日志都念出来」
Has an endless amount of notifications and events happening in their software, but no developer in their right mind would sort of say, I should show all of these logs, nor would they say, I should speak all of these logs
—— Charlie Guo · [08:44]

然后编码智能体和语音智能体来了，现在他们在给定的一天或一个月内生成的代码比以前多了几个数量级。
Then came coding agents and voice agents, and now they generate orders of magnitude more code than they previously did on a given day or month.
—— Charlie Guo · [09:30]