跨国深谈← 返回←Sheila

① 他说过的话

1 条

高并发情况下，你的 GPU 可能已经在忙于处理所有请求了，这时实现投机解码就没有意义；但如果你有多余的 GPU 空间，就值得考虑。
High concurrency, your GPUs are probably already busy trying to run all the requests, so it wouldn’t make sense to implement speculative decoding, but if you have extra GPU space, it’s worth considering.
—— Sheila · [03:10]

指向原始笔记的链接

② 出现在这些集

1 集

• 《让小模型先猜，大模型来批：推理加速值不值？》 — 作为主持

③ 他谈到的

点进去有真内容 —— 本页主要出口

投机解码 · 草稿模型 · 接受率 · KVCache · 推理 · GPU · vLLM · Llama · RAG · Akamai

④ 也在聊「智能体」的人