投机
投机解码 (speculative decoding)
概念
本站收录 1 集 · 0 条金句 · 关联 10 个
集里怎么说它
- 《不只做推理：Modal 如何跨界多节点训练与智能体云》(16:30起):本集说是让小模型（草稿模型）先猜几个词，再让大模型来验证的加速手段。嘉宾强调，相比于死磕底层内核只能提升几个百分点，优化投机解码的「接受长度」能带来 2 到 4 倍的乘法级提升，且零质量损耗。
② 出现在这些集
1 集
- 《不只做推理：Modal 如何跨界多节点训练与智能体云》 — 作为概念
③ 关联
点进去有真内容 —— 本页主要出口
Swyx · Akshat Bubna · Vibhu · Modal · 智能体 · AX · DX · 沙箱 · 推理 · 弹性推理