跨国深谈← 返回←vLLM

集里怎么说它

• 《不只做推理：Modal 如何跨界多节点训练与智能体云》(20:20起):本集在对比推理引擎性能时提及，被列为现成的开源推理引擎之一（另一个是 SGLang），用来和 Modal 的方案做对比。
• 《开源模型没差距，缺的是让它跑起来的基础设施》(01:41起):本集把它说成:开源的推理引擎,任何时刻在五十万个 GPU 上运行,像数据库和操作系统一样驱动整个 AGI 经济的底层基石。
• 《每天100万份协议：DocuSign 携手 NVIDIA 把合同表格变成可用数据》(07:48起):本集提到它是一种高性能推理服务框架，Nemotron Parse 可以通过它部署
• 《推理已成一个分布式系统问题:Meta 讲透大规模推理的编排之道》(01:33起):本集把 vLLM 作为模型服务框架和推理服务运行时的例子,并用它说明优化四象限框架可迁移到各种技术栈
• 《智能体推理不是聊天加量：Friendly AI 重建推理云》(05:54起):本集说 Friendly AI 团队早年的工作启发了这个被广泛使用的开源推理框架;深度研究示例也以解释 vLLM 中的 spec decoding 框架为任务。
• 《让小模型先猜，大模型来批：推理加速值不值？》(08:03起):本集说 vLLM 是 Sheila 用来实现投机解码的推理服务引擎，文档很好，是上手最简单的实现；更进阶的还有 Ngram、Medusa、Eagle
• 《大模型背后：推理引擎到底在干什么》(01:38起):另一个高质量开源推理引擎,同时是 HTTP/gRPC 服务器和引擎层,架构与 SGLang 有细微差别,更偏智能默认值
• 《每家公司都该有自己的AI模型吗？》(33:29起):本集说它是很好的开源推理引擎起点,放一个 vLLM 到 GPU 上挂到 Open Router 差不多就是生产级推理产品。

① 提到它的金句

1 条

你没法在 VLLM 或 SGLang 上运行这些基于扩散的 LLM。我们必须构建自己的服务引擎，而且我们能处理真实生产工作负载的很多复杂性。
You cannot run these diffusion-based LLMs on VLLM or SGLang. We had to build our own serving engine, and we can handle a lot of the complexity of real production workloads.
—— Stefano Ermon · [13:01]

指向原始笔记的链接

② 出现在这些集

8 集

• 《不只做推理：Modal 如何跨界多节点训练与智能体云》 — 作为概念(提及)
• 《开源模型没差距，缺的是让它跑起来的基础设施》 — 作为概念
• 《每天100万份协议：DocuSign 携手 NVIDIA 把合同表格变成可用数据》 — 作为概念(提及)
• 《推理已成一个分布式系统问题:Meta 讲透大规模推理的编排之道》 — 作为概念(提及)
• 《智能体推理不是聊天加量：Friendly AI 重建推理云》 — 作为概念(提及)
• 《让小模型先猜，大模型来批：推理加速值不值？》 — 作为概念
• 《大模型背后：推理引擎到底在干什么》 — 作为被讨论公司
• 《每家公司都该有自己的AI模型吗？》 — 作为被讨论公司(提及)

③ 关联

点进去有真内容 —— 本页主要出口

推理 · 智能体 · 投机解码 · SGLang · GPU · Modal · 后训练 · NVIDIA · KVCache · Kubernetes