一个AI客服解决了80%的工单,成本每月700美元

Matt Lawler · Assembly AI 前置部署工程师 · 2026-10-07
听中文精华AI 合成朗读00:00
如果你想要在规模化下交付更好的客户体验,你就不能成为良好客户体验的瓶颈。
— Matt Lawler

关联

如果你给 AssemblyAI 的客服发消息,回复你的不会是人,而是一个叫 Joey 的AI。它记得你之前聊过什么,能写代码、调试、自己给自己加新能力。

它每周7天、每天24小时在线,解决了公司80%的客服工单,每月成本只有约700美元。

AssemblyAI 做的是语音AI基础设施,自研语音转文字的基础模型。你开会时见过的 Fireflies 会议记录机器人,用的就是他们的转录。

他们现在也提供完整的语音智能体方案——把语音识别、大模型、语音合成串成一条服务。

问题:每天1000个新注册,只有一个工程师接待

演讲者 Matt Lawler 的职位是 Forward Deployed Engineer(前线部署工程师),这类人直接嵌到客户那边,理解需求、写代码、每周开几次会,是客户在技术和商务上的唯一对接人。

这种模式服务好,但撑不住量。AssemblyAI 每天有约1000个API新注册,而直到演讲前两天,他是公司唯一的接入工程师。

他想跟每个新客户都聊,但物理上不可能。

他的结论是:前线工程师的日常工作,应该是想办法把自己自动化掉——「你不能成为好客户体验的瓶颈」。

第一次尝试:买现成的机器人,只解决了10%

团队的第一反应和大多数人一样:买个现成的客服机器人,指向文档,让它替人回答简单问题。

结果它只解决了约10%的对话。按每天1000个对话算,机器人接了100个,剩下900个还是人处理。

更糟的是没法快速迭代——系统提示词、工具、检索基础设施都掌握在供应商手里,每次要改点什么,得到的答复都是在路线图上了。

自己造一个:Joey 是怎么搭起来的

于是他们决定自己建,取名 Joey——相当于给团队加了个新成员,而不是招一个人。所有来找 AssemblyAI 的人,先见的都是 Joey。

他基于 Claude Agent SDK 构建,接入 Pylon 来管理对话、记住每个客户。架构上有四个要点:

一是文档全在本地。所有文档以 Markdown 格式存在 Joey 自己的文件系统里,文档一更新就自动同步。

哪怕官网文档挂了,Joey 照样能回答最新功能的问题,还能附上出处链接。

二是检索用 Voyage 的向量嵌入,把最相关的文档先摆到前面,回答更快。

三是部署在 Railway 上,不用管服务器。团队看到 Joey 在某次对话里出了问题,写个拉取请求,30秒内新版本就上线了。

他们甚至在现场盯着一次对话、发现漏洞、修复上线,客户全程不知情。

四是行为规则写在一个约3万行的 ClaudeMD 指令文件里。每次他答错,团队就更新这个文件,让他在之后的每次对话里都变得更好。

成果:80%的工单无人参与就解决了

上线第一周,端到端解决率就从10%涨到80%,每月的令牌加基础设施成本约700美元 。

这不是挑简单工单凑出来的数字:想找人工,必须先过 Joey 这关,由他决定是否升级。

他实际处理100%的进站工单,只把约20%转给人——多是改费率、数据退出、签协议这类确实需要人或法务介入的事。

Joey 做不了的事,正好构成一份清晰的待办清单,告诉团队接下来该自动化什么。

比如定价,现在已经可以直接和 Joey 谈:告诉他你要多少小时,他会报价,你还可以还价。

更深一层:用自己的产品,才真正懂客户

AssemblyAI 做语音智能体,所以这周他们给 Joey 加上了语音模式——用自家的语音智能体API,一条 WebSocket 连接搞定语音识别、大模型和语音合成,实时低延迟,能处理打断和插话。

不久后还会接上电话号码。

这里有个巧妙的设计:客户用语音向 Joey 请教怎么建语音智能体时,本身就在体验这个产品。

演讲者说,前线工程师不管跟客户嵌得多深,理解客户最好的方式是把客户在做的产品自己亲手做一遍——他为了给 Joey 加语音,亲历了延迟、轮换、打断处理这些坑,现在能给客户更实在的建议 。

本集带走

  • 现成的客服机器人只解决了10%的工单,且因为改不了提示词和工具,无法迭代
  • 自建的 Joey 第一周就把解决率提到80%,每月成本约700美元,100%工单先进他手里
  • 文档本地 Markdown 化 + 约3万行行为指令文件 + 30秒部署,是快速迭代的关键
  • AI做不了的事就是团队的自动化路线图:定价谈判、协议签署正在逐步交给 Joey
  • 用自己的产品建 Joey,等于亲手走了一遍客户的路,能给出好得多的建议
全部金句 8 条

如果你想要在规模化下交付更好的客户体验,你就不能成为良好客户体验的瓶颈。
If you want to deliver a better customer experience at scale, you can’t be the bottleneck to having a good customer experience.
—— Matt Lawler · [04:07]

于是我们「造」了另一个团队成员而不是去雇一个,我们给他起名叫 Joey。
So we built another member of our team rather than hiring one, and we named him Joey.
—— Matt Lawler · [05:18]

实际上有几次,我们实时监控一场对话,发现了一个 bug,部署了修复,然后在会话的剩余时间里它就被验证有效了,而那个客户甚至不需要知道我们在幕后发布了那个修复。
We’ve actually had times where we’ve actually monitored a live conversation, caught a bug, deployed a fix, and then it’s been proved for the rest of the session, and that customer doesn’t even have to know that we shipped that fix behind the scenes.
—— Matt Lawler · [07:42]

所以,在部署这个构建的第一周内,我们就把端到端解决率从 10% 提升到了 80%,而且用的是相当朴素的实现。
So we went from 10% to 80% end-to-end resolution rate in just the first week of deploying this build with a pretty naive implementation.
—— Matt Lawler · [08:09]

而且我们总共只花了大约每月 700 美元的 token 和基础设施成本就做到了这一切。
And we did that all for around $700 a month in both token and infrastructure costs.
—— Matt Lawler · [08:17]

理解你的客户在构建什么,最好的方式就是你自己真正去构建他们的同样产品。
The best way to understand what your customers are building is to actually build their same product yourself.
—— Matt Lawler · [10:11]

我记得那大概是一个 30000 行的 ClaudeMD,里面全是各种护栏,以及关于他应该如何与客户打交道的建议。
I think it’s like a 30,000 line ClaudeMD of all these guardrails and advice on how he should be operating with customers.
—— Matt Lawler · [11:37]

所以这里面有一种元层面的东西:当你在和 Joey 聊如何构建语音智能体 API 时,你已经在使用它了,你已经亲眼看到你的产品体验会是什么样子。
So there’s kind of a meta layer there where if you’re talking to Joey about how to build a voice agent API, you’re already using it, and you’re already seeing exactly what your product experience could look like.
—— Matt Lawler · [14:12]

接着看