尾部
尾部延迟 (tail latencies)
概念
本站收录 1 集 · 2 条金句 · 关联 10 个
集里怎么说它
- 《当AI智能体成为云的大客户：AWS CEO Matt Garman 谈2200亿美元的豪赌》(08:25起):本集说智能体非常在意 P999 这类尾部延迟、会被它卡住,而人不在乎——这正是智能体化工作流在 AWS 上表现最好的原因之一。
① 提到它的金句
2 条
盲目重试只会成倍增加你的成本和你的尾延迟。
指向原始笔记的链接
So blind retries just multiply your cost and your tail latencies.
—— Kanish Manuja · [02:54]
它们实际上非常在意尾部延迟，这很有意思，因为人并不总是关心 P999 的 S3 延迟，但智能体确实在意，并且会被它卡住。
指向原始笔记的链接
They actually care a lot about tail latencies, which is interesting, where people don’t always care about the P999 S3 latency, like agents do care and get blocked by that.
—— Matt Garman · [08:25]
② 出现在这些集
1 集
③ 关联
点进去有真内容 —— 本页主要出口
Raguraguram · Matt Garman · AWS · Amazon · 智能体 · GPU · Trainium · Graviton · Bedrock · 沙箱