合成数据怎么做强化学习：Tonic AI 的方法
关联
企业做 AI 的雄心是够的，但真正能跑通、把微调模型上线运营的，和一直卡在合规里出不来的人，大概各占一半。卡住的原因很具体：你手里有大量真实数据——比如客户支持聊天记录——但里面全是敏感信息，按原样训练模型根本不合法。
Tonic AI 做了两件事来解这个问题。
两条路：脱敏真实数据 vs 从零合成
第一条路叫 Textual，核心是去标识化（把文本里的姓名、身份证号等敏感信息识别出来并替换掉）。这在医疗和金融行业特别关键。
以医疗行业为例，你要用自己的数据训练模型，合规上有两个选项：一个是 Safe Harbor，这是 HIPAA（美国医疗数据隐私法规）里的一个流程，基本上会把数据「核平」——脱敏太狠，数据价值大幅缩水。另一个叫专家判定，找一位专家来评估，认定经过处理后的数据在统计上是安全的。Tonic 的客户普遍走这条路——他们用 Textual 产品对数据做精准操作，既去掉敏感信息，又尽量保留数据的结构和价值。
第二条路叫 Fabricate，是从零生成数据。你可以给一些数据片段作为参考，也可以把工具连上真实数据库让它分析数据结构，然后它据此从无到有地批量生成数据。
合成数据做强化学习，效果不输真实数据
Fabricate 有一个特别突出的用途：为强化学习创建训练环境。强化学习的流程大致是——有一组任务、一个环境、一个评估标准，模型在环境里反复尝试，根据评估反馈来调整行为。
Tonic 的 AI 团队刚发了一篇论文：大约一年前，有人拿一个开源基础模型做微调，让它在邮件检索任务上超过了当时的基础模型。Tonic 用合成数据在同样的模型上做了强化学习，结果在很多方面拿到了更好的成绩。他们有白皮书证明，合成数据做强化学习的效果跟真实数据一样好。
这背后的逻辑是：强化学习评估的通常是相对模糊的能力（比如「这个回复够不够好」），不像分类任务那样有精确的对错标准，所以合成数据生成的场景和反馈信号，足够让模型学到有用的行为。
为什么企业开始重新算这笔账
大约六个月前，Tonic 的客户还在说「我们永远不会微调，就等基础模型实验室把功能做出来就行」。现在风向变了。
原因是多方面的。基础模型的能力参差不齐——写代码可能已经很强，但如果你是保险公司，想让模型自动处理理赔授权，基础模型的表现大概只能算「还行」，达不到你上线的标准，这就得在自己数据上训练。
另外，基础模型的推理成本随着那些公司走向 IPO 只会往上走；而开源模型虽然可能落后六个月，但推理成本低得多，而且你可以针对自己的场景做专门化——在很多领域，一个落后六个月但经过专门训练的模型，在你关心的任务上反而比最新的通用模型更强。这个算账方式正在转变。
本集带走
- 合规不是小事，它直接决定了企业 AI 能不能落地：有数据但不敢用，是很多企业卡住的真实原因，不是技术能力不够。
- 脱敏选「专家判定」而不是「Safe Harbor」：后者虽然流程简单，但会把数据价值毁掉；前者配合好的工具，能在安全和可用性之间找到平衡。
- 合成数据做强化学习是可行的：有白皮书和实验支撑，合成数据生成的环境能让模型学到跟真实数据一样好甚至更好的表现。
- 重新评估「微调 vs 直接用基础模型」的账：推理成本趋势、开源模型的追赶速度、以及特定领域基础模型的不达标，都在把企业推回「自己训练」这条路。
我们实际上有白皮书，我们的数据在做模型的强化学习方面与真实数据一样好。
And we actually have white papers where our data does as well at doing reinforcement learning on models as real data.
—— Ian · [03:20]
我认为还因为像 Cursor 所做的事情，人们开始说，哦，等等，我可以坐下来使用基础模型，但随着这些人试图 IPO 并拥有更好的现金流，它们可能只会增加成本。
I think also because of things like what Cursor did, people are starting to say, oh, wait, I could sit back and use the foundation models, but they’re probably only going to go up in cost as these guys try to IPO and have better cash flows.
—— Ian · [06:27]
你要么需要做一件叫做 Safe Harbor 的事情，这是一个 HIPAA 流程，它基本上会破坏数据，因为它并不是真的那么有价值，或者你可以做这件事叫做专家判定。
You either need to do something called Safe Harbor, which is a HIPAA process that essentially nukes the data, like it’s not really that valuable, or you can do this thing called expert determination.
—— Ian · [08:12]
顺着「智能体」挖下去
- Ollama CEO：开源模型正吃掉企业 80-90% 的 token同概念:微调 (fine tune)、推理 (inference)、智能体 (agent)
- 「智能是数据的派生物」：Fireworks 创始人 Lin Kuo 的专用智能宣言同概念:强化学习 (reinforcement learning)、推理 (inference)
- Decagon 的 AI 寺庙:开源、Duet 与护城河同概念:微调 (fine tune)、智能体 (agent)
换个口味
- 造海底机器人、挖关键矿物、量产核反应堆:硬科技重塑美国制造同概念:强化学习 (reinforcement learning)
- AI模型正在学会黑入一切：软件供应链已成最薄弱环节同概念:强化学习 (reinforcement learning)
- 当签名已死：AI智能体如何击穿传统网络安全同概念:推理 (inference)、智能体 (agent)