跨国深谈← 返回←Nishant Gupta

① 他说过的话

4 条

推理流量已经超过了世界上最大的微服务,而且其增长速度是我们见过的任何工作负载中最快的。
The inference traffic already outpaces the largest microservices in the world, and the rate of growth is fastest of any workload we have ever seen.
—— Nishant Gupta · [00:43]

指向原始笔记的链接

AI 正走在完全相同的轨迹上,只是被压缩到了最近几年而不是十年。
AI is on the exact same trajectory, but just compressed into the last few years instead of a decade.
—— Nishant Gupta · [01:24]

指向原始笔记的链接

关键的要点是:你不能用我们规划微服务的方式来规划智能体的容量。
The key takeaway that you cannot plan capacity for the agents the same way we did for microservices.
—— Nishant Gupta · [02:55]

指向原始笔记的链接

智能可能存在于模型中,但经济性、可靠性和用户体验全都在基础设施里。
The intelligence might lie in the model, but the economics, the reliability, and the user experience are all in the infrastructure.
—— Nishant Gupta · [05:31]

指向原始笔记的链接

② 出现在这些集

1 集

• 《推理已成一个分布式系统问题:Meta 讲透大规模推理的编排之道》 — 作为嘉宾

③ 他谈到的

点进去有真内容 —— 本页主要出口

Naman Ahuja · Meta · 推理 · 智能体 · 微服务 · GPU · KVCache · 批处理 · 投机解码 · 可观测性

④ 也在聊「智能体」的人