可观测性 (observability)
集里怎么说它
- 《Julie Zhuo:管理者的核心技能,就是驾驭AI的技能》(28:16起):本集说可观测性是很多快速增长 AI 公司缺失的基础设施——十来个人就有数亿 ARR,但没有日志、没有数据团队,靠直觉和良好氛围跑,增长一旦停止就会手忙脚乱
- 《Vibe debugging:代码生成之后,生产环境才是真正的硬仗》(06:04起):本集说 Mayank 整个职业生涯都在可观测性领域,生产环境的遥测数据散落在 CloudWatch、Datadog、Grafana 等孤岛中是 AI 落地的挑战之一
- 《评测优先:Braintrust 创始人谈 AI 产品开发的真正工程》(14:44起):本集说把 Braintrust 和 Datadog 都当成可观测性产品是短视的看法——两者目标本质不同
- 《Cloudflare 三人聊:让模型直接写代码,别再堆工具了》(08:00起):本集说可观测性与 code mode、MCP 三者拼在一起能形成闭环,实现自愈、自调整的基础设施,不用再担心谁半夜改错配置
- 《Anthropic 零信任框架:智能体安全的六层防御》(24:04起):本集说可观测性解决「智能体干了什么」,需要一条完整链路追踪:哪个用户用哪个 API 密钥触发了哪个智能体、发了什么提示、调了什么工具、输入是什么、被哪条策略拦了
- 《DevOps 之父谈智能体开发:谁来管、怎么管、别踩什么坑》(24:23起):Patrick指出好的可观测性对AI和对人都好;Tamuz具体要求可观测性平台必须对智能体可查询,让智能体能验证自己做的任务并追溯检查日志
- 《AI 智能体怎么认证:从标准到红队测试的全流程》(33:58起):本集说当系统行为出错时,可以通过可观测性回溯查看发生了什么
- 《Claude Tag:住在 Slack 里的主动型队友,如何让 65% 的 PR 由 AI 开出》(44:13起):本集在描述托管智能体产品承担的职责时,顺带提到基础设施和可观测性
- 《DevOps 之父 Patrick Debois:AI 时代组织比技术更难成熟》(17:21起):本集把它说成从 DevOps 延伸过来的概念,是自动化的反馈渠道;在 AI 编码中用于成本管理,发现谁在盲目用大模型、谁在重复浪费 token
- 《当系统出故障时,让 AI 代替作战室里的 50 个人——Traversal 谈如何造 AI SRE》(04:42起):用于监控系统状态的工具与数据;本集提到现有的可观测性平台本身不是为 AI 设计的,想跨系统检索信息极为困难。
- 《主导投资 Anthropic 的人:风投的游戏规则已经彻底变了》(56:38起):本集说可观测性、智能体框架这类基础模型之上的开发者栈三四年前投过一轮没跑出来,现在随着生态变大、要做成本优化「真正起飞了」,是被投资不足的机会
- 《当代码生成加速,谁来填运维的坑:用后台智能体接手生产环境长尾工作》(00:28起):嘉宾深耕 15 年以上的老本行。本集指出,由于 AI 让代码发布变快,生产系统复杂性增加,仅靠现有的大型可观测性工具已不足以应对,必须用 AI 智能体来辅助。
- 《Anthropic 构建生产级智能体的教训:harness 须为模型能力演进而生》(03:11起):本集把它说成:复杂智能体编排下,搞清引擎盖下到底发生了什么的能力。Managed Agents 把会话日志呈现给用户的 UI 仪表盘就天然提供了可观测性。
- 《拥有你自己的智能:Harness、Eval 与数据飞轮》(09:06起):本集称其「重要但被严重低估」:能看到进入模型上下文窗口的到底是什么、上下文如何一步步累积,是调试智能体出问题的关键。
- 《Canva 增长骤降背后:无代码时代终结与 AI 蚕食的真相》(22:57起):本集说 Datadog 卖可观测性给基础设施供应商,作为基础设施公司不需要改变模式的例证
- 《Lindy 创始人谈 AI 员工的上下文战争:从红黑树到”走去洗车”》(52:15起):Flo 说可观测性和评估平台是唯一没买现成而自研的基础设施,2022 年创业时没有现成工具
- 《Merge的”二次创业”:从SaaS集成到AI连接基础设施》(52:12起):本集提到可观测性是 MCP 协议不覆盖的东西,但 Merge 平台包含了可观测性层
- 《垂直 AI 创业的七步配方:护城河不是模型,是领域专业知识》(06:51起):七步配方之一:查看追踪记录、理解 AI 应用在做什么并调试;「如果你能看到它,你就能修复它」。
- 《企业还没为 AI 智能体做好准备:四条架构原则补上缺口》(11:17起):事件与数据分离的好处之一:开发者可回溯调试智能体每一步为什么这么做,但只能看到数据形状、碰不到 PHI 本身
- 《工程领导者的AI工具购买真相》(02:15起):本集说 VP 和总监层级对 observability 工具的关注度几乎与 AI 编码工具一样高,因为代码生成自动化后可靠性成为下游新痛点
- 《模型一换代系统就崩?evals 才是你该押注的持久资产》(00:18起):本集说 Braintrust 是一个 observability 平台,提供 evals、可观测性等运行飞轮所需的全部组件。
- 《给智能体建一个“人力资源部”:TrustWise 创始人谈运行时治理》(09:39起):本集说可观测性是企业的第三类软件,它告诉你正在发生什么,但不让你影响和塑造它
- 《AI 时代,工程师的判断力与品味如何修炼》(33:06起):本集在讨论产品过了发布期后需要的第一性原则时,将可观测性列为与可靠性、可解释性并列的关键要求
- 《Cloudflare 销售运营的 AI 三支柱:让市场进入团队效率翻倍》(11:33起):多智能体工作流的每次运行对每个 LLM 调用都有可观测性,能看到传入了什么、响应是什么,靠逐次检查纠错才让架构稳定。
- 《智能体缺的那一层:让 AI 顺畅访问开放网络的抓取基建》(09:01起):本集提到朋友因可观测性做得好才发现了验证码失败,而多数客户只查状态码和内容大小、检测不到失败。
- 《Uber 用 AI 给 AI 评审代码:每周 2.5 万条评论是这样炼成的》(04:26起):本集说这是 uReview 演进的转折点:从只收成本和 NPS,到系统性收集情绪分析、处理率、智能体轨迹等数据来定位质量问题并调优
- 《Navan 架构师谈生产环境智能体:从运行时到护栏的实战分层》(16:35起):本集说这是仍在挣扎的一层:业界向 OTL 推进,但 OTL 是否真适合智能体调用还有大量未知。
- 《从技能到循环再到工厂:软件工厂实战路线图》(08:50起):本集说工程工作转移到循环本身的可观测性和监控上,常是建循环来监控循环;自动化平台捕获所有运行日志,可再建自动化基于真实使用改进技能
- 《给智能体系上绳索:Two Sigma 让云端 AI 以你的身份安全运行》(08:12起):本集用 trace ID 式传播做类比:让每个智能体持续向 header 附加标记,不仅区分人做还是智能体做,还能重放导致最终结果的整条行动链,获得远超纯身份验证的可观测性。
- 《Harness 工程:把智能体部署到云端规模》(07:56起):本集说这是构建型智能体该最先考虑的事,「非常、非常重要」;AgentCore 部署后可查看追踪和记忆存储以便调试。
- 《推理已成一个分布式系统问题:Meta 讲透大规模推理的编排之道》(15:31起):本集说可观测性不只是仪表盘,而是向控制回路提供输入信号——遥测、分析驱动调度和路由的决策,循环往复
- 《Warp CEO 的软件工厂:2000 个 PR 一个月,人成了瓶颈》(27:44起):Claire 强调:对每个编码会话没有会话级、工具调用级、测试失败级的可观测性,就会浪费优化效率、成本和模型选择的机会
- 《让智能体自己研究自己:Weights & Biases 的 ARIA 评估飞轮》(02:06起):本集说 Weave 是可观测性平台,嘉宾从生产与离线两个角度都拥有完整的可观测性,这是整个评估飞轮的基础。
- 《AI 写代码翻倍之后:Honeycomb 的审查、信任与主人翁意识》(11:40起):本集划的硬线:遥测是数据,可观测性是理解——「数据 vs 理解,百分之百每一天」;且可观测性与可控制性在控制理论中是对偶的,两者齐备 AI 才能自动定位修复、人才不必凌晨两点起床。
- 《浏览器自动化标准背后的故事:Selenium、WebDriver 与测试哲学》(28:17起):本集说 David 正在推进把可观测性追踪接进测试:用追踪键贯穿端到端测试,失败时能精确复现入口数据,且无需改任何规范。
- 《AI SRE 与自动驾驶式生产:Traversal 如何替财富 500 强修故障》(03:12起):本集说 Datadog、Elastic、Splunk、ServiceNow 这类可观测性工具只会告诉你什么坏了、指出可能相关的东西,再多的仪表盘也帮团队跟不上环境的复杂性;根因不是观测问题。
- 《为什么99%准确率的浏览器智能体还是会失败》(10:10起):本集说维护智能体系统需要在可观测性上投入:不仅看智能体怎么决策,还要看浏览器里实际发生了什么
- 《模型不再是护城河,谁在围绕模型建「自己的智能」》(09:50起):本集把可观测性和评估说成驱动复利循环的关键领域,能看到智能体在做什么、衡量它表现多好。
- 《智能体上线后总出问题?先学会「看见」它在干什么》(00:40起):本集主题:从智能体产生的海量 trace 数据中生成信号、得出洞见;Braintrust 主张从被动观察走向『主动可观测性』。
- 《让 AI 自己改进 AI:Langfuse 创始人谈「自我改进的智能体」》(02:15起):本集把线上追踪监控(observability/tracing)列为智能体构建循环的在线一半,并指出随着 AI 消化海量数据,数据系统正从写入密集转向读取密集。
- 《大模型背后:推理引擎到底在干什么》(07:44起):生产调试的关键:日志记的指标要远多于你以为需要的,因为不知道哪个交叉比对会让 bug 一眼看穿
- 《为什么做一个评估平台比看起来难得多》(01:35起):本集说可观测性是智能体质量的第二根支柱:智能体进入生产环境后,通过持续监控真实用户交互来验证离线开发的假设,与 evals 是同一问题的两面。
- 《写出最火微服务书籍的人,为什么说微服务是“最后的手段”?》(41:40起):本集把它说成系统的一种属性、放在新书第二章:单机程序天生信号好,分布式系统必须主动埋点;有了延迟和成功失败率数据才能设对超时、定义 SLO,否则就是盲飞。
- 《让 AI 智能体越用越聪明:LangChain 团队谈“会学习的记忆”》(03:34起):本集说可观测性是构建可靠智能体的关键基础,让每次运行产生可理解的追踪记录
- 《像经营世界上最大的创业公司一样经营思科》(07:59起):本集说应对智能体跑偏需要安全性、安保性和可观测性能力,思科把安全与可观测性融合进智能体安全平台。
- 《你的 AI 智能体没有神经系统——所以它总是瞎忙》(00:44起):本集说 Dynatrace 是一个 AI 驱动的可观测性平台;讲者做了八年可观测性,目标是「在问题成为真正的问题之前发现它们」。
① 提到它的金句
5 条
就像产品内的 AI,大概比在组件上进行 AI 编码领先两年。他们已经有了评估系统,已经有了可观测性系统。
指向原始笔记的链接
Like AI product, AI inside the product is probably two years ahead from AI coding on components. They already have the eval system, they already have an observability system.
—— Patrick Debois · [17:13]
所以几乎同样多的人在看 monster 可观测性,就像他们看 AI 编码工具、CICD、QA 一样。
指向原始笔记的链接
So almost as many of them looking at monster observability as they are AI coding tools, CICD, QA.
—— Dave Fletcher · [02:54]
然后,通过我经历的所有可观测性和评估,我们发现,和一个非常朴素的实现相比,我们的成本下降了 60%,我们的质量和准确率提升了大约 70%。
指向原始笔记的链接
And then with all the observability and evals that I went through, we saw that against like a very naive implementation, our costs were down by 60% and our quality and our accuracy was up by around 70%.
—— Ameya Ketkar · [10:46]
从根本上说,我们在 Traversal 的信念是:根因分析不是一个可观测性问题。
指向原始笔记的链接
Fundamentally, the belief that we have at Traversal is that root cause analysis is not an observability problem.
—— Eric Schwartz · [05:52]
我有巨大的 payload,有几十兆、有时几百兆的大小,而传统的心跳可观测性数据只有几 KB 的大小。
指向原始笔记的链接
I have huge payloads that are tens of megabytes, hundreds of megabytes in size sometimes compared to traditional heartbeat observability, which are just kilobytes in size.
—— Hossein · [13:54]
② 出现在这些集
46 集
- 《Julie Zhuo:管理者的核心技能,就是驾驭AI的技能》 — 作为概念
- 《Vibe debugging:代码生成之后,生产环境才是真正的硬仗》 — 作为概念(提及)
- 《评测优先:Braintrust 创始人谈 AI 产品开发的真正工程》 — 作为概念
- 《Cloudflare 三人聊:让模型直接写代码,别再堆工具了》 — 作为概念
- 《Anthropic 零信任框架:智能体安全的六层防御》 — 作为概念
- 《DevOps 之父谈智能体开发:谁来管、怎么管、别踩什么坑》 — 作为概念
- 《AI 智能体怎么认证:从标准到红队测试的全流程》 — 作为概念(提及)
- 《Claude Tag:住在 Slack 里的主动型队友,如何让 65% 的 PR 由 AI 开出》 — 作为概念(提及)
- 《DevOps 之父 Patrick Debois:AI 时代组织比技术更难成熟》 — 作为概念
- 《当系统出故障时,让 AI 代替作战室里的 50 个人——Traversal 谈如何造 AI SRE》 — 作为概念
- 《主导投资 Anthropic 的人:风投的游戏规则已经彻底变了》 — 作为概念
- 《当代码生成加速,谁来填运维的坑:用后台智能体接手生产环境长尾工作》 — 作为概念
- 《Anthropic 构建生产级智能体的教训:harness 须为模型能力演进而生》 — 作为概念
- 《拥有你自己的智能:Harness、Eval 与数据飞轮》 — 作为概念
- 《Canva 增长骤降背后:无代码时代终结与 AI 蚕食的真相》 — 作为概念(提及)
- 《Lindy 创始人谈 AI 员工的上下文战争:从红黑树到”走去洗车”》 — 作为概念(提及)
- 《Merge的”二次创业”:从SaaS集成到AI连接基础设施》 — 作为概念(提及)
- 《垂直 AI 创业的七步配方:护城河不是模型,是领域专业知识》 — 作为概念
- 《企业还没为 AI 智能体做好准备:四条架构原则补上缺口》 — 作为概念(提及)
- 《工程领导者的AI工具购买真相》 — 作为概念
- 《模型一换代系统就崩?evals 才是你该押注的持久资产》 — 作为概念(提及)
- 《给智能体建一个“人力资源部”:TrustWise 创始人谈运行时治理》 — 作为概念(提及)
- 《AI 时代,工程师的判断力与品味如何修炼》 — 作为概念(提及)
- 《Cloudflare 销售运营的 AI 三支柱:让市场进入团队效率翻倍》 — 作为概念
- 《智能体缺的那一层:让 AI 顺畅访问开放网络的抓取基建》 — 作为概念(提及)
- 《Uber 用 AI 给 AI 评审代码:每周 2.5 万条评论是这样炼成的》 — 作为概念
- 《Navan 架构师谈生产环境智能体:从运行时到护栏的实战分层》 — 作为概念
- 《从技能到循环再到工厂:软件工厂实战路线图》 — 作为概念
- 《给智能体系上绳索:Two Sigma 让云端 AI 以你的身份安全运行》 — 作为概念
- 《Harness 工程:把智能体部署到云端规模》 — 作为概念
- 《推理已成一个分布式系统问题:Meta 讲透大规模推理的编排之道》 — 作为概念
- 《Warp CEO 的软件工厂:2000 个 PR 一个月,人成了瓶颈》 — 作为概念(提及)
- 《让智能体自己研究自己:Weights & Biases 的 ARIA 评估飞轮》 — 作为概念
- 《AI 写代码翻倍之后:Honeycomb 的审查、信任与主人翁意识》 — 作为概念
- 《浏览器自动化标准背后的故事:Selenium、WebDriver 与测试哲学》 — 作为概念
- 《AI SRE 与自动驾驶式生产:Traversal 如何替财富 500 强修故障》 — 作为概念
- 《为什么99%准确率的浏览器智能体还是会失败》 — 作为概念
- 《模型不再是护城河,谁在围绕模型建「自己的智能」》 — 作为概念
- 《智能体上线后总出问题?先学会「看见」它在干什么》 — 作为概念
- 《让 AI 自己改进 AI:Langfuse 创始人谈「自我改进的智能体」》 — 作为概念
- 《大模型背后:推理引擎到底在干什么》 — 作为概念
- 《为什么做一个评估平台比看起来难得多》 — 作为概念
- 《写出最火微服务书籍的人,为什么说微服务是“最后的手段”?》 — 作为概念
- 《让 AI 智能体越用越聪明:LangChain 团队谈“会学习的记忆”》 — 作为概念
- 《像经营世界上最大的创业公司一样经营思科》 — 作为概念(提及)
- 《你的 AI 智能体没有神经系统——所以它总是瞎忙》 — 作为概念
③ 关联
点进去有真内容 —— 本页主要出口
智能体 · 评估 · Anthropic · 护栏 · MCP · 沙箱 · ChatGPT · Claude Code · 上下文 · OpenAI
