微调 (fine tune)
集里怎么说它
- 《Mustafa Suleiman:数据是新的护城河——AI 创业者的机会地图》(11:24起):Mustafa 认为应用层创业公司可以外包预训练模型,但必须拥有自己的微调栈和教师训练,这块不能交给别人。
- 《PM的生存法则:AI时代别当瓶颈,去抢活干》(30:34起):本集提到微调是 PM 需要理解的技能之一,Oji 说他在学习如何微调模型用于家庭自动化项目
- 《AI时代衡量开发者生产力:Nicole Forsgren 谈怎么测才不撒谎》(13:46起):本集提到,在把机器生成的代码反喂给系统做微调或本地微调时,需要警惕它可能会在无意中引入什么样的新模式或偏见。
- 《Databricks 的反击:重写数据库、统一智能体与开放的执念》(57:59起):Databricks 提供的一项服务。随着基础模型变聪明以及合成数据生成能力提升,模型微调(如 RL 微调)的门槛正在降低,变得愈发容易,使得专做特定领域的小模型比烧钱做大模型更有价值。
- 《Wix CEO Avishai:SaaS 末日下,我们凭什么值钱》(14:53起):Wix 自研模型的打法:微调几个模型再组合,在 Base44 场景上达到顶级模型质量、成本降低约 5%-30%,靠自有数据理解用户真正想说什么。
- 《IBM 单日暴跌 25%:企业软件的好日子到头了吗?》(15:05起):本集说之前大家觉得模型够好不需要微调,现在被两头挤压(美国模型贵、中国模型可能被限),又开始认真考虑自己训练或微调小模型来降低推理成本
- 《Decagon 的 AI 寺庙:开源、Duet 与护城河》(03:13起):本集说是为了把模型训练得极度擅长特定任务(如客服场景),它是非通用的、难以被前沿实验室开箱即用满足的、且需要针对特定用例建立评估体系的关键脏活。
- 《合成数据怎么做强化学习:Tonic AI 的方法》(05:29起):本集说六个月前客户还说永远不会微调、等基础模型实验室做功能,现在风向变了,保险公司等需要在自己数据上训练才能达到上线标准
- 《Tether 做本地 AI:数据中心造太多了》(29:12起):本集把微调描述为让模型根据你的数据学习、变成’你的’AI 的过程,QVAC 建了通用 LoRa 微调框架,支持数百个模型在任何消费级 GPU 上微调
- 《Lindy 创始人谈 AI 员工的上下文战争:从红黑树到”走去洗车”》(93:00起):Flo 认为微调是最后的手段,在用尽其他选项后才做;大多数人不应该微调,大规模工作时才应该
- 《Martin Casado:AI 时代,钱比以前好使了》(32:25起):本集说许多做微调、后训练的公司更像是服务导向型公司
- 《AI 应用层的黄金时刻:a16z 投资人 Anish Acharya 谈智能如何变成生意》(08:42起):本集说对很多公司来说开源模型是唯一选项,因为它们可以本地化、训练、微调
- 《数据成了企业唯一的护城河:AI时代的数据基建怎么做》(06:22起):本集提到有公司开始提供针对特定数据集微调模型或开源模型的服务,人们试图为各自用例优化模型
- 《Legora:三个非律师如何造出法律AI操作系统》(29:50起):本集将不微调模型作为核心战略判断:2022-2023 年的普遍认知是你必须微调模型(如 Bloomberg 花数百万建法律模型),但 Legora 打赌模型会持续变强,不把钱花在微调上。
- 《Ollama CEO:开源模型正吃掉企业 80-90% 的 token》(05:15起):本集讨论微调自定义模型的周期问题:2024 年初火过又退潮,如今随发布节奏加快更难跟上,但工具变好让微调团队能追上。
- 《从 Hugging Face 到中国药企:NVIDIA 的开源终局与 AI 制药的未来》(16:28起):本集说硅谷垂直 AI 公司会在这些中国开源模型上做微调或后训练
① 提到它的金句
4 条
但我认为你需要拥有自己的微调栈,我不会把微调相关的东西交给别人。
指向原始笔记的链接
But I think you need to own your fine-tuning stack and I would not give the fine-tuning stuff to somebody else.
—— Mustafa Suleyman · [18:29]
你知道,如果你看今天任何美国开源模型,它们都在使用中国模型作为老师,或在某种程度上作为微调过程的一部分。
指向原始笔记的链接
you know, if you look at any American open source model today, they are using Chinese models as a teacher or in a way as a part of the fine tuning process.
—— Sriram Krishnan · [15:25]
所以当我们微调更小、更笨的模型时,它们只是没那么通用,但在我们想要它们做的特定任务上,它们实际上优于那些大型、聪明、最先进的模型。
指向原始笔记的链接
So when we fine-tune smaller, dumber models, it’s that they’re just not as general purpose, but on the specific task we want them to do, they actually outperform the large, smart, state-of-the-art models.
—— Jesse Zhang · [05:34]
我们还发现,如果在神经网络中加入这些波,你会非常自然地运行在混沌边缘,而不必微调系统去凑到那里。
指向原始笔记的链接
And we found that if you include these waves in your neural network, you very naturally operate in this regime edge of chaos, and you don’t have to fine-tune the system to be there.
—— Max Welling · [52:58]
② 出现在这些集
16 集
- 《Mustafa Suleiman:数据是新的护城河——AI 创业者的机会地图》 — 作为概念
- 《PM的生存法则:AI时代别当瓶颈,去抢活干》 — 作为概念(提及)
- 《AI时代衡量开发者生产力:Nicole Forsgren 谈怎么测才不撒谎》 — 作为概念
- 《Databricks 的反击:重写数据库、统一智能体与开放的执念》 — 作为概念(提及)
- 《Wix CEO Avishai:SaaS 末日下,我们凭什么值钱》 — 作为概念
- 《IBM 单日暴跌 25%:企业软件的好日子到头了吗?》 — 作为概念
- 《Decagon 的 AI 寺庙:开源、Duet 与护城河》 — 作为概念
- 《合成数据怎么做强化学习:Tonic AI 的方法》 — 作为概念
- 《Tether 做本地 AI:数据中心造太多了》 — 作为概念
- 《Lindy 创始人谈 AI 员工的上下文战争:从红黑树到”走去洗车”》 — 作为概念(提及)
- 《Martin Casado:AI 时代,钱比以前好使了》 — 作为概念(提及)
- 《AI 应用层的黄金时刻:a16z 投资人 Anish Acharya 谈智能如何变成生意》 — 作为概念(提及)
- 《数据成了企业唯一的护城河:AI时代的数据基建怎么做》 — 作为概念(提及)
- 《Legora:三个非律师如何造出法律AI操作系统》 — 作为概念
- 《Ollama CEO:开源模型正吃掉企业 80-90% 的 token》 — 作为概念
- 《从 Hugging Face 到中国药企:NVIDIA 的开源终局与 AI 制药的未来》 — 作为概念(提及)
③ 关联
点进去有真内容 —— 本页主要出口
智能体 · 推理 · OpenAI · Anthropic · 开源模型 · 开源 · DeepMind · 评估 · Salesforce · GPU
