跨国深谈← 返回←AI SRE 与自动驾驶式生产:Traversal 如何替财富 500 强修故障

AI SRE 与自动驾驶式生产:Traversal 如何替财富 500 强修故障

关联

人物 Eric Schwartz

公司 Traversal · ServiceNow · American Express · Pepsi

概念 事故响应中的 AI · 可观测性 · 自动驾驶式生产 · 因果机器学习 · 生产世界模型 · 因果搜索引擎 · 告警智能 · AI SRE · 故障排查 · 编码智能体

这一集聊的是一个刚被 AI 放大、又正被 AI 反过来解决的问题：生产环境的故障排查。说话的人是 Eric,Traversal 的产品经理，在加入 Traversal 之前他在 ServiceNow 做可观测性产品好几年 。

他抛出的核心观察是：软件工程可以分成三块——系统设计、开发、故障排查 。编码智能体把中间那块「开发」压缩了，开发快了很多、团队产出多了 10 倍；但两端没有跟着受益——企业实际看到的是，越来越多时间被拖进故障排查里，因为写出的代码多得多、而人对被推入生产的代码的理解却更少了 。

数据也印证这一点：企业每年为此花费高达 4000 亿美元，40% 的高管说这是团队面临的问题，工程师平均每周在值守时仅排障就要损失 7 个以上小时 。像 Claude Code、Codex、Cursor 这些工具「非常出色，真的很出色，但它们会带来更多代码和更多复杂性」。

那现有的可观测性工具(如 Datadog、Elastic、Splunk、ServiceNow)为什么不够？Eric 的答案很直接：它们只会告诉你什么坏了、指出可能相关的东西，「但你没告诉我为什么，也没告诉我该怎么处理」——这是他在 ServiceNow 做可观测性产品时从客户那里反复听到的话 。再多的仪表盘也帮团队跟不上环境里不断增加的复杂性 。

为什么这事这么难：因果，不是观测

一个结账 API 挂了，真正的根因可能在五到十跳之外——要跨过几十个服务和 PB 级数据才能找到 。小公司也许有一位了解全栈、掌握全部隐性知识的资深 SRE,但财富 50 强企业里没有任何一位工程师拥有全部上下文，于是结果是：作战室里拉进 50 个工程师、花无数小时调试，因为每人只握着自己那一小块 。人或「人 + Claude Code」都很难获得从「结账 API 挂了」跳到「五跳外的过期 TLS 证书」所需的完整上下文 。

这正是 Traversal 创始人创业的动因，也是这家公司的核心信念：根因分析不是一个可观测性问题，它是一个因果问题 。四位创始人，三位来自学术界、一位来自量化金融，几十年都在做因果机器学习——如何发现因果关系——并把它应用到了这个问题上 。

「自动驾驶式生产」：给运维分等级

Traversal 在做的事，Eric 称为自动驾驶式生产(self-driving production):一个闭环系统——故障发生时，AI 找到问题、找到根因、提交修复、验证修复完成，全程不打扰你的团队成员，让他们继续专心构建 。像自动驾驶汽车一样，它分成等级 :

• 零级：今天大多数公司所在——全手动，拉一群人进 Slack 作战室或 Zoom 会议，花几小时调试。
• 一级：有一些规则和自动化(比如用 Claude Code、Cursor、Codex 搭的 loop),但遇到没见过的新情况、没有现成 runbook 时就失效了 。
• 三级：有自研智能体，很擅长调试某个特定服务或特定一组告警。
• 四级：真正的跨越——横跨整个环境：数百个服务、数百个仓库、数千个日志索引。自研一个能应对这种规模的方案相当困难 。
• 五级：终极目标——不仅能诊断整个生产环境的问题，还能提交修复并验证修复 。

Traversal 声称正在帮财富 500 强企业冲向五级。他们服务的公司包括 American Express、Pepsi、DigitalOcean、Capital One,处理的规模是数万亿条日志、数万亿个 span、数百亿个指标和事件，并对高严重性事件达到 80% 以上的根因命中率 。

两个真实用例

告警智能(Pepsi 案例)。Pepsi 把 Traversal 用在供应链上——确保成品从仓库到卡车再到零售商。

之前他们的团队每周收到成千上万条警报，单个工程师随时可能积压 700 条警报，「你有太多噪音，不知道该看哪里，不知道什么坏了，事情从缝隙中溜走。或者你只是试图跟上节奏然后精疲力竭」。用上 Traversal 后，工程师拿到的不再是积压的 700 条，而是一份已按优先级排序、且被预先调查过的警报集合——哪些真正值得深挖、哪些告警规则该改、哪些是以后再处理的技术债，都被标记出来 。

事故根因分析(American Express 案例)。之前 American Express 一次事故意味着五到十个团队被呼叫、20 到 50 名工程师被卷入，这个例子中花 60 分钟，但可能几小时甚至几天；客户付不了信用卡账单、登不上 App,都是大问题 。

现在 Traversal 是每一起事故的第一响应者：事故一被宣布，它就被派出，三分钟内在管理事故的 Slack 频道里发布一份非常详细的根因分析，还能往 ServiceNow 工单里发更新 。有了这份初步分析，不再需要呼叫五个团队和几十个工程师——要么没人被叫，要么只叫一两个团队来验证发现。这个案例省下了 50 多名工程师，「当事故发生在半夜时，这一点尤其受到感激——现在 53 名工程师可以睡个好觉了」。

怎么判断一家 AI SRE 是不是真行

Eric 最后给了五个关键问题(他说这个领域很热、声称在解决问题的公司很多):

1. 它能看到你所有的生产数据吗？ 只给它一个切片、理解有空白，就很难得出详细的根因 。
2. 它能搜索这些数据吗？ 通常是 PB 级、数千亿条日志，还必须不把成本炸掉、不搞垮可观测性基础设施——对财富 100 强企业来说，在规模上做到这点绝非小事 。
3. 它能梳理出数据中所有实体之间的关系吗？ 就算读完了所有数据，不知道怎么用、迷失其中，基本没价值 。
4. 它能随时间自主变聪明吗？ 而不需要你投入工程资源维护一堆 markdown 文件、或养一批前置部署工程师来维护系统知识 。
5. 它能多跳吗？ 能在几分钟内找到远离初始症状的非显而易见的根因吗？「超过五分钟，你就基本上迷失了方向——你耗尽了值班团队的耐心，人们就会退回到自己的习惯做法上」。

Traversal 自己的答案分两层：底层是摄取并映射所有接入的数据、在不增加成本的前提下分析；中间是所谓的**生产世界模型——映射出所有数据之间的关系；再往上才是打包成用例。加上给智能体用来搜索已映射数据的因果搜索引擎**，他们相信这两件核心武器能把财富 500 强带到五级自主、完全自动驾驶的生产环境 。

本集带走

• 编码智能体的副作用在运维端：开发提速 10 倍的另一面，是更多代码、更少理解、更多故障——企业每年为此烧掉约 4000 亿美元，工程师每周平均损失 7 小时以上在排障上。
• 可观测性工具的天花板：Datadog 这类工具告诉你「什么坏了」，但不会告诉你「为什么」和「怎么办」；根因分析本质是因果问题，不是观测问题。
• 给运维自动化分级：零级全手动 → 一级规则自动化(新情况就失效)→ 三级服务专属智能体 → 四级横跨数百个服务 → 五级诊断 + 修复 + 验证全闭环。
• AI SRE 的验收清单：全量数据可见、能在 PB 级数据上低成本搜索、能建实体关系、能自主进化、能在五分钟内多跳找到远离症状的根因。
• 真实验效：American Express 每起事故由 Traversal 三分钟内出根因分析，从 20-50 名工程师卷入降到零或一两个团队验证即可;Pepsi 把单工程师 700 条警报积压变成一份预调查、按优先级排好的短清单。

人们对被推入生产的代码的理解却更少了。
People have less understanding of the code that’s being pushed into production.
—— Eric Schwartz · [02:11]

像 Claude Code、Codex 和 Cursor 这样的工具非常出色,真的很出色,但它们会带来更多代码和更多复杂性。
Tools like Claude Code and Codex and Cursor, which are fantastic, they are fantastic, but they result in more code and more complexity.
—— Eric Schwartz · [02:58]

从根本上说,我们在 Traversal 的信念是:根因分析不是一个可观测性问题。
Fundamentally, the belief that we have at Traversal is that root cause analysis is not an observability problem.
—— Eric Schwartz · [05:52]

所以现在 Traversal 是 American Express 每一起被创建的事故的第一响应者。
And so now Traversal is the first responder to every single incident that’s created at American Express.
—— Eric Schwartz · [13:38]

就像是,现在 53 名工程师可以睡个好觉了。
Like this is a good night of sleep that 53 engineers can have now.
—— Eric Schwartz · [14:36]

你耗尽了值班团队的耐心,人们就会退回到自己的习惯做法上。
You’ve lost the patience of the on-call team and people will fall back onto their own habits.
—— Eric Schwartz · [16:29]