跨国深谈← 返回←SGLang

集里怎么说它

• 《不只做推理：Modal 如何跨界多节点训练与智能体云》(20:40起):本集在对比推理性能时提及，被列为现成的开源推理引擎之一，并提到 Modal 团队会与 SGLang 团队密切合作并将改进开源上游。
• 《推理已成一个分布式系统问题:Meta 讲透大规模推理的编排之道》(11:29起):本集把 SGLang 与 vLLM 并列为推理的服务运行时和技术栈例子
• 《大模型背后：推理引擎到底在干什么》(01:38起):本集用来拆解内部架构的典型开源推理引擎,由一组相互通信的进程组成,有多个 token 化进程和一个调度器
• 《每家公司都该有自己的AI模型吗？》(33:29起):本集把它与 vLLM 并列为很好的开源推理引擎起点,几乎所有推理云都已改用这类开源引擎做调优。

① 提到它的金句

1 条

你没法在 VLLM 或 SGLang 上运行这些基于扩散的 LLM。我们必须构建自己的服务引擎，而且我们能处理真实生产工作负载的很多复杂性。
You cannot run these diffusion-based LLMs on VLLM or SGLang. We had to build our own serving engine, and we can handle a lot of the complexity of real production workloads.
—— Stefano Ermon · [13:01]

指向原始笔记的链接

② 出现在这些集

4 集

• 《不只做推理：Modal 如何跨界多节点训练与智能体云》 — 作为概念(提及)
• 《推理已成一个分布式系统问题:Meta 讲透大规模推理的编排之道》 — 作为概念(提及)
• 《大模型背后：推理引擎到底在干什么》 — 作为被讨论公司
• 《每家公司都该有自己的AI模型吗？》 — 作为被讨论公司(提及)

③ 关联

点进去有真内容 —— 本页主要出口

推理 · vLLM · 智能体 · 投机解码 · Modal · GPU · Kubernetes · 可观测性 · OpenAI · Cognition