让语音智能体又快又聪明：Elise AI 的级联架构
关联
这一集聊的是怎么让语音智能体做到「实时响应」和「Frontier 级智能」兼得——这在语音领域是个出了名的矛盾：反应慢就没人愿意用，模型不够聪明又办不成事。主讲人 Bo 来自 Elise AI(一家做医疗、住房领域 AI 的公司)，之前做过自动驾驶，他正是把自动驾驶的思路搬进了语音系统。
他的核心主张是：级联语音智能体——把整条链路拆成感知、规划、控制三层，就像自动驾驶里的摄像头/激光雷达 → 规划器 → 控制器：
他在这三层各做了一两个关键技巧，下面逐层拆开。
感知层：流式投机转写器
转写有个两难：快的流式转写器一边听一边出字，但常常听错；准确的批处理转写要等更多上下文，但慢。Bo 的解法是流式投机转写器(streaming speculative transcriber)——把一个快的流式转写器(如 Flux)叠在一个更准、更慢、能利用更多上下文的批处理转写器(如 scribe v2)之下：
- 流式层先快速出字，立刻给下游用；
- 准确层随后校验，若发现听错了就发纠错；如果新音频先到了，旧的准确结果直接作废、被取消，用更新的上下文重新算；
- 因为准确层拿到了智能体之前问的问题(「请说出你的姓名和出生日期」)，它能结合上下文纠错——比如意识到某段音频是在报姓名、另一段是出生日期 。
规划层：后台智能体 + 提前生成
这一层用的是「慢但聪明」的大模型，所以最大敌人是往返次数——尤其是工具调用(智能体调外部系统查信息，每次都要等一轮推理)。Bo 的技巧是：让后台智能体替主智能体做工具调用，再把工具结果悄悄推回主智能体的上下文，「让它以为自己做了工具调用，但其实没有」。
具体机制是提前生成 + 取消：
- 转写层每出一个检测文本，就触发一次主智能体的提前生成——但在确认用户说完了之前绝不真正输出；
- 生成过程中不调用工具，所以极快；
- 一旦后台智能体把工具结果(比如纠正过转写错误的姓名、出生日期)准备好了，之前那次「没带工具结果」的提前生成就被取消，带着完整上下文重新触发生成 。
后台智能体还会做实质性的纠错，比如对姓名做语音匹配(把听错的音按发音对应回正确的名字)。
控制层：前缀缓存 + 抑制重播
文本转语音(TTS)的目标是：智能体还在流式吐字时，音频就开始播，把生成延迟藏起来。这里 Bo 引入**前缀缓存(prefix cache)**——检查智能体正在吐出的这串词，之前有没有生成过一模一样的音频：
- 「你说你的名字是」这种高频话术，早就生成过、直接命中缓存，三个词之后就能开播，用户瞬间听到回应；
- 缓存里没有的部分(比如具体的名字)才走 TTS 引擎——他们用的是支持 WebSocket 的 Cartesia;
- 诀窍在于：Cartesia 其实拿到了完整句子，会按标准自然韵律生成整句，但它不知道缓存的存在。等它生成回来，系统把已经播过的那段音频抑制掉，只把剩下的部分接在缓存音频后面播。用户最多感到极轻微的卡顿，「你很可能根本注意不到」。
【背景】WebSocket 是一种保持客户端与服务端持续连接、可双向实时推流的网络协议，适合音频流这种场景。
实际效果
Bo 现场播放了一段真实通话录音：智能体接听妇产科诊所电话，完成确认患者信息、发短信收保险资料、查日历、预约下周超声波检查的全流程，对话自然流畅。他总结：流式输出背后其实有大量事情在同时发生，语音智能体真正值得下功夫的地方恰恰在这个 harness(执行框架)里——是它让对话变得自然 。
结尾他简单介绍了 Elise AI:总部在纽约，正在向湾区扩张，专注住房和医疗保健这些「生活中最关键的领域」。
本集带走
- 级联拆层是底座：感知(转写)→ 规划(LLM)→ 控制(TTS),每层单独提速，合起来才不牺牲智能。
- 快慢双转写互为保险：快的流式层负责即时出字，准的批处理层负责结合问题上下文纠错；新音频一到，过期的纠错结果直接取消。
- 工具调用挪到后台：让后台智能体替主智能体查工具、把结果静默塞回上下文，主智能体的提前生成不带工具调用，因此极快；结果到位后取消重生成。
- 每次检测都提前生成、确认说完才输出：这是「听起来秒回」但「说的内容正确」的关键机制。
- 前缀缓存抢首响：高频话术直接复用历史音频先播，慢的 TTS 只补个性化的尾部，并抑制重播段落，用户几乎无感。
- 减少 LLM 往返次数是第一 性能指标：慢模型换不掉，但每省一次往返就是真金白银的延迟。
我们必须把工具结果推回主智能体的上下文里，让它以为自己做了工具调用，但其实没有。
So, we had to push the tools back into the context of the main agent so that it thinks it made the tool call, but it really didn’t.
—— Bohan Li · [04:08]
用户其实不知道发生了什么。对他们来说，这看起来就是非常快的响应时间。
The user doesn’t really know what’s going on. It just looks like really fast response times to them.
—— Bohan Li · [08:25]
所以更多上下文、更多音频会胜过旧的准确结果。
So more context, more audio is going to beat the old accurate one.
—— Bohan Li · [03:15]
顺着「智能体」挖下去
- 语音智能体不一定要说话:OpenAI 的三种语音交互模式同概念:工具调用 (tool calling)、语音智能体 (voice agents)、转写 (transcription)
- 模型一换代系统就崩？evals 才是你该押注的持久资产同概念:工具调用 (tool calling)
- MCP没有问题，你的智能体才有问题同概念:工具调用 (tool calling)
换个口味
- 估值150亿的隐形AI公司：我们最好的工作是独自安静地完成同概念:自动驾驶 (self-driving)