跨国深谈← 返回←当AI智能体成为云的大客户：AWS CEO Matt Garman 谈2200亿美元的豪赌

当AI智能体成为云的大客户：AWS CEO Matt Garman 谈2200亿美元的豪赌

关联

人物 Raguraguram · Matt Garman

公司 AWS · Amazon · Anthropic · OpenAI

概念 智能体 · GPU · Trainium · Graviton · Bedrock · 沙箱 · Firecracker · 推理 · 评估 · 护栏 · 开放权重 · SageMaker · 尾部延迟

Matt Garman 是 AWS 的 CEO。他 2005 年在商学院实习时就参与了 AWS 的早期分析项目，后来成为 EC2 的第一任总经理。

如今 AWS 已是规模庞大的云计算巨头，在这期 a16z 播客里，他罕见地详细谈了这家公司如何看待 AI 带来的巨变——从基础设施、芯片到组织方式。

【背景】AWS 当前年收入约 1690 亿到 1700 亿美元、增速约 37% 为公开财报数据，节目原文中未提及具体数字。

为什么说智能体的工作流在 AWS 上跑得更好?

Garman 的核心判断是:云的客户正在从人变成智能体。

过去开发者用图形界面点点点,现在越来越多的代码是智能体写的,数据库是智能体选的,部署也是智能体完成的。

这对云提出了新要求。

比如智能体特别在意尾延迟——S3 存储服务千分之一的极端慢请求,人类用户可能察觉不到,智能体却会被卡住。

再比如,智能体常常需要建一个数据库、用一下、马上销毁,传统为生产系统设计的五个九高可用在这里是过度设计。

他的说法是:「智能体的工作流往往在 AWS 上跑得比任何地方都好」。

为此 AWS 做了不少改造。以前注册账户要配信用卡、定义网络和权限,现在用 Gmail 就能登录,30 秒内可用,而且以后要扩展时不用迁移。

他们还在测试一个叫 AWS Context 的服务,帮智能体跨数据湖找数据。

智能体需要全新的积木

Garman 强调,这不只是把旧服务换个用法,而是要造全新的基础组件:计算沙箱、网关、专门给智能体的权限体系。

你不能把管理员权限整个丢给一个智能体,而应该给它有时限、限定任务范围的细粒度权限。

有意思的是,AWS 十年前发明的轻量级虚拟机技术 Firecracker,现在被大量沙箱创业公司使用——本来不是为智能体设计的,却意外地合适,因为它启动快、安全边界清晰。

头部实验室把 GPU 吃光了,小公司怎么办?

这是所有创业公司都在问的问题。答案很直接:AWS 是刻意不把货全部卖给大客户的。

「我们本可以把每一个 GPU 都卖给头部实验室然后收工,但我们选择不这样做」。

他估计,对收到的算力请求,AWS 最终会以某种形式对约 60% 说是——可能晚一点、换个区域、或换个配置。

关于泡沫的质疑,他有两点回应:一是 AWS 客户分散,单一客户占比是个位数百分比,不像某些新型云厂商集中在个别大客户;二是企业客户今天就已经在拿到正向回报,「你去问客户,几乎每个人都说,是的,有正回报」。

瓶颈不是芯片,而是电力和盖楼的人

供应链的约束像打地鼠。「从来不存在单一的约束,只有最新的那个约束」。

这个月可能是电力,下个月可能是内存、HBM、台积电产能、网络部件,甚至连接器。

最有趣的变化是电力。

15 年前要更多电,跟电力公司要几十兆瓦就行;现在 AWS 得自己掏钱建电站——太阳能、核能项目都做,连续多年是全球最大的可再生能源采购方之一,规划要看 20 年。

盖数据中心的建筑工人也成了稀缺资源。

从网卡到 Graviton 再到 Trainium:自研芯片的故事

AWS 的芯片之路是一步步蹭出来的。

先是发现虚拟化开销太大,把网络虚拟化卸载到一张卡上;然后发现一家叫 Annapurna 的小公司,他们的卸载卡上有 ARM 核心,于是收购了这家公司,做出了 Nitro 卡,能理直气壮地告诉客户「我们无法访问你的虚拟机」。

后来干脆把卸载卡上的 ARM 核心做成服务器,就是 Graviton。

它比同类便宜 20%、性能好 20%,前 100 大客户中 90% 以上都在用,有客户整体迁移后服务器数量减半。

AI 时代的答案是 Trainium。名字叫训练芯片,但 Garman 坦言「我们起名字确实很差」——它现在可能是市面上最好的推理芯片,性能和性价比都出众。

Bedrock 上大部分推理流量都跑在 Trainium 上,Anthropic 和 OpenAI 都签了协议基于它构建,产能已经卖到明年年底前后。

企业用智能体,卡在两件事上

Garman 观察到,企业现在建的智能体大多简单、非自主、有人类把关。要规模化,得解决两个问题。

第一是思维方式。企业总想让智能体照搬现有流程——Bob 做五步,就让智能体做同样五步。

但真正的价值在于换一种解法:智能体可以大规模并行,同时试 50 种方案。

要从零开始想计算机怎么解决这个问题,而不是复制人怎么解决。

第二是信任。客户不敢放手,是怕智能体误删生产数据库。

评测、持续测试、防漂移,这些企业今天都不会做,我认为目前没有人真正擅长解决这些问题。

AWS 的做法是派前沿开发工程团队驻场 45 天,教会客户自己动手,然后离开——不是做永远收费的咨询生意。

在 AWS 内部,工程师已经变成「管理智能体团队的人」

AWS 自己的用法可能最能说明未来。

他们把内部 AI 工具 Amazon Q(节目里读作 Quick)推给了每一个 Amazon 员工:HR 团队用智能体把过去几周的团队规划工作压缩到几小时,财务团队用智能体拉取各地税务规则做合规检查。

变化最大的是软件开发。

AWS 内部有所谓前沿团队,「不是代码补全,真的是智能体优先,智能体写所有代码,你只是在管理一个智能体团队」。

新产品推出的速度因此大幅加快。

组织也在变:过去 10 个人长期守一个产品,现在三四个人快速建完就转到下一个项目。

Garman 承认还没有标准答案,但员工其实喜欢——能更快做出更多东西。

本集带走

• 云的客户正从人变成智能体:更低延迟、秒级开通、可随时销毁的资源、专门的智能体权限和沙箱,是新的设计原则。
• Trainium 虽名为训练芯片,实际可能是市面上性价比最好的推理芯片,Bedrock 大部分推理流量跑在其上。
• 企业落地智能体的两大障碍:照搬旧流程的思维方式,以及缺乏评测和信任机制——AWS 用 45 天驻场培训代替长期咨询。
• AWS 内部已进入智能体写全部代码、工程师管理智能体团队的阶段,新产品交付速度显著加快。

它们实际上非常在意尾部延迟，这很有意思，因为人并不总是关心 P999 的 S3 延迟，但智能体确实在意，并且会被它卡住。
They actually care a lot about tail latencies, which is interesting, where people don’t always care about the P999 S3 latency, like agents do care and get blocked by that.
—— Matt Garman · [08:25]

结果发现 Trainium 从绝对性能和性价比的角度来看，可能是目前市场上最好的推理芯片。
It turns out that Terranium is actually maybe the best inference chip on the market right now from an absolute performance and cost performance point of view.
—— Matt Garman · [38:03]

但我认为这是我们差异化的部分，也是需要认真考虑的超级重要的事情，因为让数据回传给模型提供商，我认为是一件危险的事。
But I think it’s a differentiating piece for us and it’s a super important thing to think about because having that data go back into the model provider I think is a dangerous thing.
—— Matt Garman · [47:01]

因为你看，到了某个时候，客户将需要机器速度的安全，而不是人类速度，不是像报警之后有人进去查看那种速度。
Because look, at some point, customers are going to need security at machine speed, not at human speed, not at like an alarm, someone goes in, look at it.
—— Matt Garman · [50:43]

智能体优先，智能体写所有的代码。你只是在管理一个智能体团队，并驱动它们。
Agent first, the agents write all of the code. You’re just managing a team of agents and driving that.
—— Matt Garman · [53:22]