跨国深谈← 返回←小模型 (small model)

集里怎么说它

• 《上下文会腐烂：Chroma CTO 谈检索的下一站与 200 亿参数搜索子智能体》(01:39起):本集的核心论点:搜索是行为不是推理,是意图分解、相关性判断、迭代执行等窄任务的串联,不需要大量原始智能;专门训练的 20B 小模型能匹配前沿大模型,且可用 LoRA 在窄语料库上廉价微调。

① 提到它的金句

3 条

我们做了很多 A-B 实验,在那里我们发现的令人惊讶的结果是,把三分之一的话轮路由到小模型,对留存率几乎没有可测量的影响。
And we do a bunch of A-B experiments, and the surprising result we found there is that routing a third of our turns to the small model has almost no measurable effect on retention.
—— Paula Dozsa · [06:57]

指向原始笔记的链接

所以在稳态下，一个更大的语言模型大概总是会胜过更小的模型，但小模型用 LoRA 微调足够便宜，以至于在足够窄的语料库上，你也可以非常快地微调一个小模型，让它在个性化语料库上变得更好，并为特定任务对模型进行个性化。
And so a larger language model will probably always outperform a smaller one at steady state, but the smaller ones are cheap enough to fine tune using LoRa that on narrow enough corpuses, you can very quickly also fine tune a small model on a narrow corpus and make it better at individualized corpuses and personalize the model for specific tasks.
—— Hamad Bashir · [32:22]

指向原始笔记的链接

让小模型变得非常聪明的最好方法是蒸馏。你训练最大的模型，然后蒸馏。
The best way to make a small model very smart is by doing distillation. You train the biggest model, then you distill.
—— Jason Ma · [19:00]

指向原始笔记的链接

② 出现在这些集

1 集

• 《上下文会腐烂：Chroma CTO 谈检索的下一站与 200 亿参数搜索子智能体》 — 作为概念

③ 关联

点进去有真内容 —— 本页主要出口

Hamad Bashir · Gregor Vand · Chroma · ChromaDB · Context 1 · 上下文腐烂 · 智能体搜索 · 向量搜索 · 上下文工程 · BYOC