开源大模型要跑得快，背后全是硬功夫
关联
把一个大模型从能跑通变成能上线，中间隔着一大堆看不见的工程活。
这场 20 分钟的演讲里，Nebius 的 Dylan（负责 Token Factory 的产品营销）和开发者布道师 Suji 讲了他们怎么做这件事：
从芯片到服务层的垂直整合，再加上缓存、投机解码这些听起来抽象、讲明白了其实很直观的优化手段。
团队为什么卡在两个都不好的选项之间？
Dylan 开场就说，今天大多数 AI 团队面对的是两个坏选项。
封闭的 API 门槛低，但很快会撞到天花板：模型没法针对你的场景调，像一个黑盒，成本随用量直线上升，没法优化 。
另一个选项是自己搭基础设施。
控制力是有了，但这几乎是一个工程项目，需要专职团队维护，产品还没开始做，离上线就还有一个月的路 。
Nebius Token Factory 想做的是第三条路：自己搞定基础设施，客户专注做产品。
他们是一家全栈 AI 云公司，在欧美运营自己的数据中心，是最早在欧洲跑 NVIDIA Blackwell Ultra（HGX B300 和 GB300）的云之一，也拿到了 Microsoft 和 Meta 的合同。
跑一个模型和跑一个生产系统差在哪？
Dylan 认为，很多团队从推理起步，把模型跑起来之后才发现这只是开始。
真正的循环是：跑模型、观察它在真实世界的表现、收集数据、改进模型、再部署回去，还不能把线上服务搞挂 。
「能把这整个循环跑起来的团队，做出的是优秀的 AI 产品；跑不起来的，做出的只是演示。」
为此 Token Factory 打通了四层：
推理（平台上托管 60 多个模型，包括 GLM、Kimi、DeepSeek、Qwen）、数据实验室（导入推理日志、用 SQL 筛选、做数据集版本管理）、后训练（微调、蒸馏、量化），最后是部署。
多数团队今天要自己把这些工具拼起来，而拼装带来的摩擦会拖慢迭代。
开源模型真的够聪明吗？
Suji 接过了技术部分。他常被问：你们托管[[开源模型|开源模型]]，但开源模型到底行不行？
他给出的答案是 Artificial Analysis 的基准测试：开源模型和闭源模型的差距已经非常窄，有些场景开源甚至更好 。
【背景】Artificial Analysis 是一家独立评测机构，定期发布各大模型的性能对比。
这意味着客户有选择权：开源模型可以跑在任何提供商上，没有锁定，而且通常便宜得多。
平台上既有大而聪明的教师模型，也有用它们训练出来的小学生模型。
小模型打草稿，大模型来审稿
大模型生成文字是逐个吐出标记的，很慢。
投机解码的思路是：让一个更快更便宜的小模型先去生成，再让大模型在最后做校验 。
Suji 打了个比方：就像资深工程师把活儿外包给初级工程师去干重活，自己只负责把关。
校验通过就完事；大模型不满意的话，最坏情况是它自己重新生成一遍。
效果很实在：用通用数据训练小草稿模型，能看到最高 30% 的提速；用客户自己的数据训练，效果更好。
平台已经把这个功能做成几乎一键：自动抓取你的生产数据来训练草稿模型 。
缓存为什么是性价比最高的优化？
另一个大头是 KV 缓存。逻辑很简单：同一个标记一旦生成过就不会变，没必要反复重算，直接存下来，下次查表就行 。
Suji 举例：提示词是猫坐在，生成下一个词后立刻缓存，下次再遇到同样的前缀，直接查缓存。提速效果在 5 到 10 倍——不是 5% 到 10%，是 10 倍 。
麻烦在于缓存很占显存。
Token Factory 的做法是自动把缓存从宝贵的 GPU 显存卸载到普通内存，需要时再搬回来，不浪费辛苦建好的缓存，客户完全不用管。
负载均衡不是随机发牌
当有几十万张 GPU 在跑模型时，路由就成了问题。
Suji 特意指出，很多人以为在前面放个负载均衡器、随机分发就行了——但大语言模型的负载不是这样 。
早期输入都很短，一句话进去一句话出来。现在编码智能体动辄把整个代码库塞进去，输入输出长度变化极大。
随机分发会让缓存碎片化地散落在各张卡上，命中率很低。
他们的路由器是缓存感知的：它知道缓存存在哪张 GPU 上，把请求送到对的地方，缓存命中率高，速度自然就上去了。
两个阶段分家，各用各的卡
大模型推理其实有两个阶段：填充上下文非常吃计算，解码则非常吃内存。挤在同一张卡上，两者会互相抢资源 。
解决办法是拆开：一组 GPU 专门做填充，计算效率高；另一组专门做解码，内存效率高，中间传输缓存数据。
此外平台还做量化——降低数值精度来提速省资源，但要通过大量实验找到甜点，压得太狠模型质量就会掉。
Suji 最后提醒：
如果你只是调用一个 API，可能意识不到这些幕后工作，但正是这些环节，决定了能不能顺滑地服务那些上万亿参数的大模型 。
本集带走
- 封闭 API 和自建基础设施是两个常见但都不理想的选项，Nebius Token Factory 提出第三条路：托管的推理服务加底层基础设施全包。
- 开源模型与闭源模型的差距已经非常窄，部分场景甚至更好，而且更便宜、无供应商锁定。
- 投机解码让小模型打草稿、大模型校验，用通用数据训练草稿模型即可获得最高 30% 提速。
- KV 缓存是推理中回报最高的优化，实测提速 5 到 10 倍；配合缓存感知路由和缓存卸载效果更好。
- 大模型推理的填充与解码阶段分别吃计算和内存，拆到不同 GPU 上各司其职，整体效率更高。
封闭 API 起步非常容易,但你往往会很快碰上天花板。
Closed APIs are really easy to start with, but you often hit a ceiling really fast.
—— 嘉宾 · [02:50]
而从运行到观测、到捕获、再到重新部署模型的完整循环,正是区分那些发布出色 AI 产品的团队和那些只发布 demo 的团队的关键。
And that full cycle from running to observing to capturing and to redeploying the model is really what separates team from that ship, like great AI products from team that ship demos.
—— 嘉宾 · [08:36]
这有点像你是高级工程师,把工作分派给初级工程师,让他们干重活,然后你来验证工作。
So it’s kind of like if you’re like a senior engineer, you’re kind of farming out the work to a junior engineer, so they’re kind of doing the heavy lifting, and then you are verifying the work.
—— 嘉宾 · [14:53]
顺着「智能体」挖下去
- 推理才是赚钱的生意：Positron 联合创始人谈内存墙、缓存暴利与「守住前沿」之争同公司:NVIDIA · 同概念:KV cache、推理 (inference)、量化 (quantization)
- Base 10 的 Julian：推理正在从「租用智能」走向「拥有智能」同概念:后训练 (post-training)、开源模型 (open source models)、推理 (inference)
- Mustafa Suleiman:数据是新的护城河——AI 创业者的机会地图同概念:后训练 (post-training)、开源模型 (open source models)、微调 (fine-tuning)
换个口味
- AI基建狂潮比你想的更大，而且还没到头同公司:Nebius、NVIDIA · 同概念:推理 (inference)
- 开源模型追得上前沿吗？一位AI研究者拆解谣言与真相同概念:后训练 (post-training)、开源模型 (open source models)、微调 (fine-tuning)
- AI 投资泡沫的崩盘剧本:为什么万亿美元建数据中心注定亏钱同概念:后训练 (post-training)、推理 (inference)