跨国深谈← 返回←Decagon 的 AI 寺庙:开源、Duet 与护城河

Decagon 的 AI 寺庙:开源、Duet 与护城河

关联

人物 Sarah Wang · Kimberley Tan · Jesse Zhang · Ashwin Srinivas

公司 Decagon

概念 智能体 · 开源模型 · 微调 · 业务逻辑 · 前向部署工程师 · Duet · 延迟 · 推理能力

一家做企业客服的公司,竟然把九成的工作流从最贵的前沿大模型,换成了自己微调的开源小模型——不仅没掉链子,反而更聪明、更便宜、更快。说这话的人是 Decagon 的创始人 Jesse 和 Ashwin,他们做的是帮大企业搭 AI 智能体的生意。

这一集 a16z 的对谈里,他们聊了四件事:为什么前沿大模型不是万能解药,非得自己微调开源模型不可;为什么「应用层公司只是套壳」的看法是个误解,真正的壁垒恰恰在模型之外;那个让他们直呼「哇哦」的神奇时刻——用一个慢但聪明的大智能体,把写规则、建测试、查漏补缺的活儿全包了;以及当 AI 真能接管整个工作岗位时,人的职业生涯到底是毁了还是升级了。

说完了开场最反直觉的那个点——放着最强的大模型不用,非要自己去折腾开源小模型,接下来看看他们具体是怎么做、又是怎么想的。

为什么九成工作流转向开源模型

Jesse 回忆,公司刚起步时,大家都在用 OpenAI 和 Anthropic 的模型,图的是赶紧把产品跑起来。但当他们开始服务拥有数百万客户的超大企业,还上线了语音智能体,一个硬约束就冒了出来:延迟。

要让语音对话自然,模型必须极快响应,而前沿大模型太重了。降低延迟、同时让智能体按自己意愿行事的方法,就是用更小的模型。

Jesse 坦言,前沿实验室确实有小模型,「但你无法真正以你想要的方式控制它们」 。于是,大约一年多以前,他们决定转向开源。

这里有个反常识的判断:很多人觉得大模型聪明,小模型笨,用小的就是在做性能妥协。Ashwin 直接反驳,认为这是个错误的权衡。

他解释说,在智能体里,模型其实同时在干一堆细碎的活:判断用户在聊什么话题、识别有没有坏人来捣乱等等 。每件单独的任务,其实都不需要大模型那种包揽数学、编程的通天智力,只需在一件特定任务上做到极致。

通过把开源小模型针对特定任务微调,它们「在我们希望它们执行的具体任务上,它们实际上优于那些大型、最前沿的模型」 。这样一套组合拳打下来,任务干得更好、更便宜、还更快,相当于白捡了三个好处。如今,Decagon 有九成的工作流跑在开源模型上 ,剩下的一成留给前沿大模型,用来做那些真正需要极高智力、探索性强的新项目,比如最近推出的 Duet Autopilot 。

既然企业迟早都会发现开源的好处,这是否意味着大公司很快也会跟进?Jesse 觉得会,但肯定比大家想的慢。

因为微调模型绝不是件轻松活:你得先拿到数据,更重要的是得有极好的评估体系,而且这些评估必须高度定制化,针对你特定的任务去测,没法随便套用公开的评估集 。不仅如此,Ashwin 补充说,模型的形态一直在变,随着底层能力提升,你会不断发现新任务可以去自动化,所以企业其实需要一个类似「模型工厂」的机制,不断训练新模型、淘汰旧模型 。Decagon 内部专门养了一支昂贵的研究团队来干这事。

聊完了底层模型的开源策略,接下来的问题就直击灵魂了:如果连企业自己都能搞定开源微调,像 Decagon 这样的应用层公司,到底还有没有存在的价值?

应用层公司的护城河在哪

2026 年上半年,硅谷有一种很火的叙事:OpenAI 和 Anthropic 这样的实验室是「最后的初创公司」,它们会吞噬一切,而应用层公司不过是套了一层薄薄的壳,加上一堆干苦力的外包工程师 。Jesse 和 Ashwin 完全不认同这种「虚假的二分法」。

首先,Jesse 指出大家有个常见误解,以为微调就是为了给某个特定客户做定制。其实不然,他们做的大部分微调,是为了把模型训练得极度擅长「客服」这个特定场景 。如果你是一家大银行,让自家宝贵的研究团队去为客服行为微调模型,这笔账显然不划算,不如直接接入像 Decagon 这样深耕垂直场景的应用。

其次,更是核心的一点:业务逻辑与模型无关。比如航班取消了,怎么一次性给三个人改签?

这些极其庞杂的业务流程和现实约束,必须被编码进应用层。Jesse 强调,这些逻辑没法靠微调大模型解决,因为企业的流程一变,你之前微调进去的东西就得全部推翻重来 。所以业务逻辑必须存在于应用层的软件栈里,这才是真正的护城河。

哪怕假设未来真的实现了 AGI(通用人工智能),模型无所不能,Jesse 依然认为软件不会消失 。因为即使人类某种程度上就是一种 AGI,我们不还是需要数据库、需要 CRM(客户关系管理系统)来存取信息吗?

AGI 智能体同样需要个地方来存放工作、拉取信息并推理。未来,应用层公司也许最终会演变成特定垂直领域的「实验室」 ,但这块阵地会一直在。

那么,既然提到了那些干苦力的外包工程师,这到底是个明智策略还是个陷阱?

前向部署工程师:是真需求还是咨询陷阱

现在科技圈很流行一个词叫「前向部署工程师(FDE)」,很多公司甚至以此为卖点,声称要招一大堆人驻扎在客户公司。Ashwin 曾是 Palantir 的部署策略师,对这套打法再熟悉不过。他警告说,把做产品和免费咨询混为一谈是非常危险的 。

他引用了 Palantir 现任 CTO Shyam 的一句名言:「前向部署工程师吞食痛苦并排泄产品」。Ashwin 解释说,在 AI 产品的早期,前向部署工程师确实是必需的,因为没人知道全新的工作流长什么样。

这些工程师必须贴着客户,跟着客户一起摸索出前所未有的新流程 。但是,一旦搞清楚了工作流,你就必须把它产品化,然后回归到可扩展的科技产品逻辑里。如果你做不到这一点,那你不过是在做一家被美化的咨询公司 。

Decagon 自己的团队就是这么演进的。在早期,前向部署工程师确实会花大量时间手动给客户写一套叫 AOP(智能体操作流程)的规则。

但他们只要发现这些活费时费力,立刻就琢磨怎么把它变成通用的核心产品功能 。他们所有的前线作战经验,最终的归宿都必须是反哺核心产品,好让接下来的十个客户都能开箱即用,否则公司根本无法规模化 。这套打法,让他们在面对竞争对手(如 Sierra)时有了明显差异:有客户因为受不了对手黑盒式的重度服务模式而转投 Decagon,在对手那里花一年才搭出三个流程,在 Decagon 这儿一个月就搞定了七个 。

这种不断把人工经验提炼成产品的思路,最终孕育出了让他们直呼「哇哦」的杀手锏。它是怎么诞生的?

神奇时刻:用 AI 管理 AI

主持人问,在改进产品的过程中,有没有哪个时刻让你觉得「哇哦,我没想到 AI 能干这个」? Jesse 毫不犹豫地提到了 Duet。

做企业客服,其实背后有海量的脏活累活:得手写一堆 AOP 教 AI 怎么做事;得写一堆测试来确保它不犯蠢;它上线后,还得靠人去一条条读对话记录,查漏补缺。Jesse 意识到这些痛点后,他们打造了 Duet——一个体积更大、速度较慢,但极其聪明的「第二智能体」 。它的任务,就是把上面提到的所有管理活儿全包了。

你现在可以直接给 Duet 丢一堆历史文档和对话记录,告诉它:去弄清楚我想让智能体怎么做,然后你自己把操作流程写出来。它不仅照做,还会主动把配套的测试和模拟跑起来 。

等产品上线了,它还能在一旁默默监控成千上万条对话,自动标记出哪些地方做得不好,甚至连改进方案都帮你草拟好了 。这是推理模型(就是那种擅长深度逻辑思考的 AI)能力大幅提升后才解锁的魔法 。

Ashwin 进一步揭示了这一切的底层逻辑:Jesse 刚才说的这些神奇功能,没有一样是凭空想出来的,全都是前向部署工程师在一线干苦力时发现的痛点,然后团队琢磨怎么把它产品化的结果 。

既然 AI 已经强大到可以管理 AI 了,那当 AI 真的开始取代一整个工作岗位时,我们该怎么办?

AI 会消灭工作,但不一定会消灭职业生涯

这是一个极其敏感但又绕不开的话题。主持人直言,客户支持也许是第一个能被 AI 端到端完全接管的工种。这是否意味着大裁员?

Jesse 和 Ashwin 用他们在前线看到的现象给出了一个相对乐观的答案。他们发现,对于很多企业来说,对客户支持的需求其实是远大于供给的 。

当 AI 把做客服的成本打下来 30% 时,大多数公司的第一反应并不是裁掉 60% 的客服团队,而是发现:原来我的客户有这么多没被满足的问题!既然现在更便宜了,那我们就把支持入口做得更显眼,甚至在每个页面都放上,连免费用户也提供即时支持 。这堪称现实版杰文斯悖论(某资源的利用效率提高,反而会导致对该资源的需求增加)的完美体现。

Jesse 打了个精准的比方:AI 会扼杀工作,但不会扼杀职业生涯 。那些像机器一样机械点击、回复简单问题的苦差事,本来就不该由人来干。

当 AI 把这些琐碎活吃掉后,人就可以腾出手来做无限多能真正让客户开心、甚至能产生新收入的事情。他们确实看到有客户因此缩减了 BPO(业务流程外包)的规模,但也有客户把省下来的人力转向了能带来收入的销售类工作 。

既然聊到了对未来的判断,最后来看看他们是怎样把这套理念卖给大企业,以及如何看这场技术浪潮的终局。

拿下大客户的秘诀与人才焦虑

Decagon 能迅速拿下全球最大的几家银行、航空公司和电信公司,靠的不仅仅是产品本身,更是帮大企业趟平落地流程的本事 。面对受严格监管的金融机构,Decagon 会极其细致地给客户画出一张路线图:从今天的第一次开会,到最后 100% 上线,中间的模型风险审核、测试流程、初次推出策略、问题捕捉与修复机制,全都安排得明明白白 。这是很多只懂技术的公司容易忽视的执行力。

这种敏锐的市场嗅觉,离不开创始人对销售的极度投入。Jesse 坦言自己大概把 80% 的时间都花在了销售上 。因为他不仅要在前线推动大客户尽快拍板,更要把市场上最新的反馈迅速传导回产品团队。

那么,Decagon 最大的瓶颈是什么?不是延迟,也不是语音模型,而是招聘 。

有些人觉得有了 AI 就能做单人独角兽,但 Ashwin 指出,即使是那些最懂 AI 的编程初创公司,也都在疯狂招人 。因为当 AI 让生产力飙升时,所有人的算盘都一样:既然原本的路线图能缩短三分之一的完成时间,那就别停下,直接把目标定为盖三倍的东西 。

他们甚至把这种对速度的饥渴延伸到了公司文化上。面对外界对科技公司拼命干活的批评,Jesse 觉得在这样一个有野心、节奏极快的团队里,大家一起熬夜死磕项目、推出新产品,更像是一场充满战友情谊的团队运动 。

本集带走

最后收个尾,这一集值得带走的是三句话。第一,前沿大模型虽然聪明,但并非万能解药;在特定任务上,自己微调过的开源小模型不仅能把活干得更好,还能顺手解决延迟和成本问题。

第二,应用层公司绝非简单的套壳,真正的护城河在于把极其复杂的业务逻辑、测试和合规要求封装进产品里,这是实验室无法替代的。第三,不要被前向部署的光环骗了,贴着客户干苦力的最终目的必须是把这些经验提炼成可规模化的核心产品,否则你只是在做一家被美化的咨询公司。除了这些,还有个暖心的洞察:AI 会干掉那些机械重复的工作,但它其实是在解放人去做更有价值的事,它扼杀的是苦差事,而不是职业生涯。

不幸的是,前沿实验室确实有小模型,但你无法真正以你想要的方式控制它们。
Unfortunately, the Frontier labs, they do have small models, but you can’t really control them in the way that you want.
—— Ashwin Srinivas · [00:27]

所以当我们微调更小、更笨的模型时,它们只是没那么通用,但在我们想要它们做的特定任务上,它们实际上优于那些大型、聪明、最先进的模型。
So when we fine-tune smaller, dumber models, it’s that they’re just not as general purpose, but on the specific task we want them to do, they actually outperform the large, smart, state-of-the-art models.
—— Jesse Zhang · [05:34]

前向部署工程师吞食痛苦并排泄产品。
forward deployed engineers eat pain and excrete product.
—— Jesse Zhang · [25:39]

如果你做不到那一点,那你只是在建立一个被美化的咨询卡车。
And if you can’t do that, then you’re just building a glorified consulting truck.
—— Jesse Zhang · [22:45]

一个 AI 智能体应该只是你公司业务的前门。
An AI agent should just be the front door of your business.
—— Ashwin Srinivas · [00:00]

每一次互动,无论是被动还是主动与客户,都应该由 AI 来处理。
And every interaction, whether it’s like reactive or proactive with a customer, should be handled by AI.
—— Ashwin Srinivas · [00:02]