跨国深谈← 返回←服务引擎 (serving engine)

集里怎么说它

• 《扩散模型能不能取代GPT？扩散模型之父下场创业》(12:56起):本集说基于扩散的 LLM 没法跑在 VLLM 或 SGLang 上，Inception 被迫自建服务引擎，没有它即使有模型权重也无法在生产中服务，这构成公司难以复制的护城河。

① 提到它的金句

1 条

你没法在 VLLM 或 SGLang 上运行这些基于扩散的 LLM。我们必须构建自己的服务引擎，而且我们能处理真实生产工作负载的很多复杂性。
You cannot run these diffusion-based LLMs on VLLM or SGLang. We had to build our own serving engine, and we can handle a lot of the complexity of real production workloads.
—— Stefano Ermon · [13:01]

指向原始笔记的链接

② 出现在这些集

1 集

• 《扩散模型能不能取代GPT？扩散模型之父下场创业》 — 作为概念

③ 关联

点进去有真内容 —— 本页主要出口

Stefano Ermon · inception 阶段 · Mercury · 扩散 · 自回归模型 · 推理 · Transformer · Cerebras