一个AI客服解决了80%的工单,成本每月700美元
关联
人物 Matt Lawler
公司 Assembly AI · Railway
概念 Joey · 前向部署工程师 · 语音智能体 · Claude Agent SDK · RAG · ClaudeMD
如果你给 AssemblyAI 的客服发消息,回复你的不会是人,而是一个叫 Joey 的AI。它记得你之前聊过什么,能写代码、调试、自己给自己加新能力。
它每周7天、每天24小时在线,解决了公司80%的客服工单,每月成本只有约700美元。
AssemblyAI 做的是语音AI基础设施,自研语音转文字的基础模型。你开会时见过的 Fireflies 会议记录机器人,用的就是他们的转录。
他们现在也提供完整的语音智能体方案——把语音识别、大模型、语音合成串成一条服务。
问题:每天1000个新注册,只有一个工程师接待
演讲者 Matt Lawler 的职位是 Forward Deployed Engineer(前线部署工程师),这类人直接嵌到客户那边,理解需求、写代码、每周开几次会,是客户在技术和商务上的唯一对接人。
这种模式服务好,但撑不住量。AssemblyAI 每天有约1000个API新注册,而直到演讲前两天,他是公司唯一的接入工程师。
他想跟每个新客户都聊,但物理上不可能。
他的结论是:前线工程师的日常工作,应该是想办法把自己自动化掉——「你不能成为好客户体验的瓶颈」。
第一次尝试:买现成的机器人,只解决了10%
团队的第一反应和大多数人一样:买个现成的客服机器人,指向文档,让它替人回答简单问题。
结果它只解决了约10%的对话。按每天1000个对话算,机器人接了100个,剩下900个还是人处理。
更糟的是没法快速迭代——系统提示词、工具、检索基础设施都掌握在供应商手里,每次要改点什么,得到的答复都是在路线图上了。
自己造一个:Joey 是怎么搭起来的
于是他们决定自己建,取名 Joey——相当于给团队加了个新成员,而不是招一个人。所有来找 AssemblyAI 的人,先见的都是 Joey。
他基于 Claude Agent SDK 构建,接入 Pylon 来管理对话、记住每个客户。架构上有四个要点:
一是文档全在本地。所有文档以 Markdown 格式存在 Joey 自己的文件系统里,文档一更新就自动同步。
哪怕官网文档挂了,Joey 照样能回答最新功能的问题,还能附上出处链接。
二是检索用 Voyage 的向量嵌入,把最相关的文档先摆到前面,回答更快。
三是部署在 Railway 上,不用管服务器。团队看到 Joey 在某次对话里出了问题,写个拉取请求,30秒内新版本就上线了。
他们甚至在现场盯着一次对话、发现漏洞、修复上线,客户全程不知情。
四是行为规则写在一个约3万行的 ClaudeMD 指令文件里。每次他答错,团队就更新这个文件,让他在之后的每次对话里都变得更好。
成果:80%的工单无人参与就解决了
上线第一周,端到端解决率就从10%涨到80%,每月的令牌加基础设施成本约700美元 。
这不是挑简单工单凑出来的数字:想找人工,必须先过 Joey 这关,由他决定是否升级。
他实际处理100%的进站工单,只把约20%转给人——多是改费率、数据退出、签协议这类确实需要人或法务介入的事。
Joey 做不了的事,正好构成一份清晰的待办清单,告诉团队接下来该自动化什么。
比如定价,现在已经可以直接和 Joey 谈:告诉他你要多少小时,他会报价,你还可以还价。
更深一层:用自己的产品,才真正懂客户
AssemblyAI 做语音智能体,所以这周他们给 Joey 加上了语音模式——用自家的语音智能体API,一条 WebSocket 连接搞定语音识别、大模型和语音合成,实时低延迟,能处理打断和插话。
不久后还会接上电话号码。
这里有个巧妙的设计:客户用语音向 Joey 请教怎么建语音智能体时,本身就在体验这个产品。
演讲者说,前线工程师不管跟客户嵌得多深,理解客户最好的方式是把客户在做的产品自己亲手做一遍——他为了给 Joey 加语音,亲历了延迟、轮换、打断处理这些坑,现在能给客户更实在的建议 。
本集带走
- 现成的客服机器人只解决了10%的工单,且因为改不了提示词和工具,无法迭代
- 自建的 Joey 第一周就把解决率提到80%,每月成本约700美元,100%工单先进他手里
- 文档本地 Markdown 化 + 约3万行行为指令文件 + 30秒部署,是快速迭代的关键
- AI做不了的事就是团队的自动化路线图:定价谈判、协议签署正在逐步交给 Joey
- 用自己的产品建 Joey,等于亲手走了一遍客户的路,能给出好得多的建议
如果你想要在规模化下交付更好的客户体验,你就不能成为良好客户体验的瓶颈。
If you want to deliver a better customer experience at scale, you can’t be the bottleneck to having a good customer experience.
—— Matt Lawler · [04:07]
于是我们「造」了另一个团队成员而不是去雇一个,我们给他起名叫 Joey。
So we built another member of our team rather than hiring one, and we named him Joey.
—— Matt Lawler · [05:18]
实际上有几次,我们实时监控一场对话,发现了一个 bug,部署了修复,然后在会话的剩余时间里它就被验证有效了,而那个客户甚至不需要知道我们在幕后发布了那个修复。
We’ve actually had times where we’ve actually monitored a live conversation, caught a bug, deployed a fix, and then it’s been proved for the rest of the session, and that customer doesn’t even have to know that we shipped that fix behind the scenes.
—— Matt Lawler · [07:42]
所以,在部署这个构建的第一周内,我们就把端到端解决率从 10% 提升到了 80%,而且用的是相当朴素的实现。
So we went from 10% to 80% end-to-end resolution rate in just the first week of deploying this build with a pretty naive implementation.
—— Matt Lawler · [08:09]
而且我们总共只花了大约每月 700 美元的 token 和基础设施成本就做到了这一切。
And we did that all for around $700 a month in both token and infrastructure costs.
—— Matt Lawler · [08:17]
理解你的客户在构建什么,最好的方式就是你自己真正去构建他们的同样产品。
The best way to understand what your customers are building is to actually build their same product yourself.
—— Matt Lawler · [10:11]
我记得那大概是一个 30000 行的 ClaudeMD,里面全是各种护栏,以及关于他应该如何与客户打交道的建议。
I think it’s like a 30,000 line ClaudeMD of all these guardrails and advice on how he should be operating with customers.
—— Matt Lawler · [11:37]
所以这里面有一种元层面的东西:当你在和 Joey 聊如何构建语音智能体 API 时,你已经在使用它了,你已经亲眼看到你的产品体验会是什么样子。
So there’s kind of a meta layer there where if you’re talking to Joey about how to build a voice agent API, you’re already using it, and you’re already seeing exactly what your product experience could look like.
—— Matt Lawler · [14:12]
顺着「智能体」挖下去
- 给 AI 村庄装上自动研究循环:长时程智能体的实验配方同概念:RAG、护栏 (guardrails)
- 当几十亿个AI智能体冲向你的数据库同概念:RAG、护栏 (guardrails)
- Chip Huyen:别追 AI 新闻了,真正提升 AI 产品的是这些事同概念:RAG
换个口味
- Claude Code 实战技巧:从提问到并行同概念:ClaudeMD
- AEO实战指南:如何让产品出现在ChatGPT答案里同概念:RAG
- SaaS 不会死,PM 迎来黄金期:Dan Shipper 的 AI 工作预测同概念:前置部署工程师 (Forward Deployed Engineer)
