跨国深谈← 返回←推理引擎 (inference engine)

集里怎么说它

• 《大模型背后：推理引擎到底在干什么》(01:01起):本集演讲主题:架构为一组互相通信的进程(HTTP 服务、token 化、调度器、模型前向计算),各引擎在裸 GPU 性能上差别不大,比的是批构造

① 提到它的金句

1 条

你能对推理引擎做的许多其他优化，都像是寸土必争的百分比游戏，每次百分之五、百分之十，而且你必须为每一个百分点做非常困难的性能工程。
So many other optimizations that you can do on your inference engine are like, it’s like a game of inches of a percent, five percent, 10 percent each time, and you have to do the very difficult performance engineering for each of those percentage points.
—— Charles Frye · [52:31]

指向原始笔记的链接

② 出现在这些集

1 集

• 《大模型背后：推理引擎到底在干什么》 — 作为概念

③ 关联

点进去有真内容 —— 本页主要出口

Charles Frye · Modal · SGLang · vLLM · PyTorch · NVIDIA · Cognition · 推理 · 调度器 · 预填充