跨国深谈← 返回←智能体推理不是聊天加量：Friendly AI 重建推理云

智能体推理不是聊天加量：Friendly AI 重建推理云

关联

人物 Byung-Gon (Gon) Chun

公司 Friendly AI

概念 智能体推理 · 智能体 · 开放权重模型 · 推理 · 连续批处理 · 前缀缓存 · KV 缓存管理 · 缓存感知路由 · 智能体感知优化 · GLM 5.2

这一集是 Friendly AI 创始人兼 CEO Gon 的演讲，主题是「智能体推理」——当 AI 智能体(能自主规划、调用工具、连续执行任务的大模型程序)成为主要负载后，推理基础设施需要怎么重建。他抛出的核心判断是：智能体推理不是「带更多请求的聊天」，而是一个完全不同的问题，必须为整个任务而不是单个请求做优化。

先交代背景。Friendly AI 是一家「面向智能体的前沿 AI 推理云」，为智能体大规模运行推理，主打更快、更便宜、更可靠。团队诞生于首尔国立大学的一个研究团队，是发明 continuous batching(一种让多个请求动态合并进同一批处理、大幅提升 GPU 利用率的推理优化)的团队，这项技术如今已成为全行业标准；他们早年还启发了被广泛使用的开源框架 vLLM。

Gon 认为 2026 年是智能体大规模进入生产环境的年份，背后是两个趋势汇聚：一是智能体采用正在指数级增长，横跨软件、运营和知识工作；二是开放权重模型(模型参数公开、可以自己部署的模型，区别于闭源 API)已经达到前沿水平，让智能体在经济上变得可行。

开放权重模型已跨过质量阈值，但便宜 5.6 倍

为了让「开放权重够用了」这件事具体化，他给两个模型完全相同的任务——用编码智能体构建一个塔防游戏。左边是运行在 Friendly AI 上的开放权重模型 GLM 5.2，右边是对标前沿的闭源模型 Opus 4.8。

【背景】「Friendly AI」为转写稿中的服务名称；右边的对比模型所属公司原文未明示，此处改为不指明厂商的说法。

重点不是输出一模一样，而是两者完成任务的水平都「明显可用」。

经济性却截然不同：同样的任务，Opus 4.8 成本约 1.50 美元，GLM 5.2 只要 0.27 美元，便宜 5.6 倍。开放权重模型让你以几分之一的成本拿到前沿质量的智能体。

但他紧接着指出：模型成本只是故事的一半。要让智能体真正快和可靠，推理栈本身必须改。

为什么智能体负载和聊天是两回事

过去的主导用法是聊天：基本单元是一次请求，人问、模型答、人读，延迟的含义是「我多快拿到一个响应」。智能体的基本单元则是任务——一个任务可能包含很多次模型调用、很多次工具调用，还会自主运行一段时间。用户不在乎单个请求的延迟，在乎的是整个任务何时完成。

拆开看智能体的运行方式：一个任务跑在一个循环里——先规划(通常是一次 LLM 调用)，再行动(比如调一个工具)，然后观察结果、把结果追加回上下文，如此反复直到任务完成。所以系统在 LLM 推理和非 LLM 的工具执行之间不断交替，LLM 调用之间存在间隙；智能体还能创建子智能体并行运行。

输入形态也完全不同。他们内部每天用 GLM 5.2 跑编码智能体，其提示词和补全长度远超聊天，而且随任务推进不断增长——因为每次观察都会追加回上下文。

这里有一个关键模式：相邻的智能体步骤通常共享一个巨大的前缀。如果每次都重新计算相同的前缀，就是在已经做过的工作上烧算力——Gon 称这是智能体推理中最大的机会之一。

极端例子是深度研究这类长时程任务：他们用 Claude Code 配 GLM 5.2 跑「解释 vLLM 中的 spec decoding 框架」，多个阶段、每个阶段由多个子智能体组成，可能运行数十甚至数百个推理步骤，有时持续几分钟甚至几小时，共享上下文全程增长。所以智能体推理有四个特征：上下文随时间增长、工具工作交错在模型调用之间、调用次数取决于输入(没法按固定请求速率规划)、真正的指标是端到端任务延迟。

重建推理云：四大支柱

Friendly AI 围绕这些挑战逐层重建了技术栈，唯一目标是优化端到端任务延迟。今天讲四大支柱：前缀缓存、KV 缓存管理、缓存感知路由、智能体感知优化。

前缀缓存。既然智能体步骤共享大前缀，就对前缀只计算一次键值(即 KV 缓存，模型处理文本时生成的中间状态，复用它就不用重算)并缓存；后续步骤复用缓存，只处理新的后缀。从缓存读取比计算预填充便宜得多，既改善首 token 时间，又减少每步算力消耗——任务跑得越久越有价值。

KV 缓存管理。缓存要有效，前提是装得下、搬得动。他们的手段：节俭的内存管理，把更多活跃上下文打包进每块 GPU 内存；KV 量化(用更低的数值精度存缓存)减少内存占用；跨 GPU 内存、主机内存和磁盘的分层缓存，突破 GPU 内存上限；还有分布式缓存，让一个前缀可以跨副本提供服务，而不只在一个实例内部。

缓存感知路由。到了全局集群规模，路由变得关键。

朴素的负载均衡器会把请求均匀分散到各 GPU 集群——但这会破坏缓存局部性。缓存感知路由器更聪明：把请求发到已经缓存了正确前缀的 pod 上，把一次冷启动预填充变成一次热缓存命中；同时仍要平衡负载，不让某条路径成为热点。

智能体感知优化——他称之为智能体推理的下一个前沿。今天大多数系统调度每次 LLM 调用时都当作独立的，不理解它是更长智能体程序的一部分。

但如果优化器知道智能体层面的上下文，就能做出更好的决策：比如抢占正确的工作、为可能的下一步预填充上下文、或基于智能体上下文做更好的缓存淘汰决策。目标始终是降低端到端任务延迟，而不是让单次调用看起来快。

这些整合起来的效果：用同一个模型 GLM 5.2、用 Kilo code 创建一个简单的手机游戏，分别通过 Friendly AI 和另一家知名推理提供商的 API 跑同样的任务，Friendly AI 端到端完成得更快。

落地与产品形态

这套能力拼起来解锁的是更强的生产级智能体技术栈：拿你已有的智能体，接入开放权重前沿模型(GLM 5.2、Minimax、Kimi,由 Friendly AI 提供服务)，模型给你前沿能力和更好的经济性，Friendly AI 给你生产所需的速度、可靠性和端到端任务性能。

客户横跨 AI 原生初创公司到全球企业：Hilo 是服务数百万用户的智能体编程工具；LG 则是业务涵盖电子、医疗保健和能源的全球企业——很不同的公司，要的东西一样：快速、可靠、高性价比的智能体推理。Hilo 的推荐语写道：过去一年他们测试了多家托管开放和闭源模型的推理提供商，在对 GLM-5 用量的对比测试中，与其他第三方提供商及模型实验室的直接使用相比，Friendly AI 始终快七倍，错误率显著更低。

使用方式有三种：模型 API(通过无服务器 API 用前沿开放权重模型，最快上手)、专用端点(隔离部署、有保障的 SLA)、BYOG 自带 GPU(在自己的基础设施上运行)——同一个技术栈，三种部署方式。

本集带走

• 智能体推理的基本单元是任务，不是请求：用户在乎的是整个任务何时完成，所以优化目标要从单请求延迟换成端到端任务延迟。
• 相邻智能体步骤共享巨大前缀，这是最大的优化机会：前缀只算一次 KV 缓存、后续复用，避免在已做过的工作上重复烧算力。
• 缓存要有效，得靠一整套管理：节俭内存管理、KV 量化、跨 GPU/主机/磁盘的分层缓存、跨副本的分布式缓存，缺一不可。
• 路由必须「缓存感知」：把请求发到已有正确前缀缓存的节点，把冷启动预填充变成热缓存命中——均匀分流的朴素负载均衡反而破坏性能。
• 下一个前沿是让调度器理解智能体程序：利用智能体层面的上下文做抢占、预填充下一步、优化缓存淘汰，而不把每次调用当独立请求。
• 开放权重模型已跨过可用阈值，成本差 5 倍以上：同样的编码任务，Opus 4.8 约 1.50 美元、GLM 5.2 仅 0.27 美元。

所以智能体推理不仅仅是带更多请求的聊天，它是一个不同的问题。
So agency inference is not just chat with more requests. It’s a different problem.
—— Byung-Gon (Gon) Chun · [06:35]

开放权重模型让你以几分之一的成本获得前沿质量的智能体。
Openweight models give you frontier quality agents at a fraction of the cost.
—— Byung-Gon (Gon) Chun · [03:05]

第一，前沿开放权重模型让生产级智能体在经济上可扩展。
First, Frontier Openweight models make production agents economically scalable.
—— Byung-Gon (Gon) Chun · [13:53]

在 GLM-5 用量的对比测试中，与其他第三方提供商以及模型实验室的直接使用相比，Friendly AI 始终快七倍，且错误率显著更低。
In a split test of GLM-5 usage compared against other third-party providers and direct usage from the Model Lab G.AI, Friendly AI was consistently seven times faster with a significantly lower error rate.
—— Byung-Gon (Gon) Chun · [12:56]