跨国深谈← 返回←别再拿视觉语言模型干所有活：一条3、4美元的自动标注训练流水线

别再拿视觉语言模型干所有活：一条3、4美元的自动标注训练流水线

关联

人物 Merve Noyan

公司 Hugging Face

概念 视觉语言模型 · 智能体 · 零样本分割 · 目标检测 · Transformers · RFDETR

把视觉语言模型（VLM，能同时看图和读文字的大模型）当成万能视觉方案，是很多开发者的本能——但这条路走不通。说这话的人是 Merve，在 Hugging Face 做计算机视觉工作，最近一头扎进智能体和端侧方向，甚至为视觉语言模型写过一本书。她这场演讲的核心主张是：想要实时、想要鲁棒，就该用小而专的任务模型；而 VLM 的正确用法是退到幕后，帮你标注数据、当裁判，把专用模型「喂」出来。

为什么别直接用 VLM 干视觉活

Merve 观察到的开发者通病，是拿 VLM 做所有事情。第一个硬伤是永远做不到实时——她说的实时，是指在烤面包机这样的低端设备上也能跑 30、40 FPS，不管你做的是图像分类还是实例分割。第二个硬伤是精度：只要你认真训练一个 RFDETR 这样的专用检测模型，它总是会胜过视觉语言模型，她在现场展示了这一点 。

还有一个更实际的坑：开发者不读许可证。每次她发目标检测相关的内容，总有人问 YOLO——YOLO 确实是好模型，但它是 AGPL 3.0 许可证，她敢打赌有开发者根本不知道商用要付费就直接部署了。所以她今天想劝所有人迁移到 Apache 2.0 许可证的模型 。

她造了个叫 VibeVision 的工具包

灵感来自一个社区帖子：有人把 SAM 3.1 模型作为工具交给 Gemma 4 去调用。Merve 把这个思路扩展成一个工具包，包含两部分：一是把她偏好的视觉模型打包成工具给编码智能体用，二是一条「vibe 训练」流水线——这是她讲的重头。

流水线的逻辑是：只有图像、没有标注时，先用一个视觉语言模型当标注器，再用两个视觉语言模型当裁判筛标注质量，最后训练你要的专用模型。具体做法：随便拿一个图像数据集，用 QN 3.5（约 8B 的 VLM）标注出边界框；然后把标注结果交给两个裁判——Gemma4E4B 和接近 2B 的 LFM 2.5 VL。

她查过研究，用一组较小裁判的集成效果更好。两个裁判的裁定按「最小一致」合并（只要一个说行就保留），最后拿去训练 RFDETR medium 或 large 。

这里有个关键技巧：QN 输出的边界框本质上是 token，但她不把 token 传给裁判，而是把边界框直接叠加画在图上，连同标签描述一起传给裁判，让裁判看着图判断「这个框标得对不对」。而那些标签描述本身也是编码智能体生成的，人只需要批准一下 。

成本和效果

整条流水线跑下来只要大约三、四美元——标注用 DeepInfra 的无服务器接口（便宜到离谱），评判用 Hugging Face Jobs，训练用一块 L4（RFDETR 模型非常小，甚至可以本地跑）。

效果在两个问题上验证。路牌检测：数据集有真实标注可以对比，训练出的模型 mean average precision（检测精度的标准指标）超过 50，和伪标注比有一点差距，但可以预期，因为它就是从 QN 学的。

文档解析：用 DocVQA 数据集提取图像、表格、签名，这是个新任务，结果模型不仅学会了，还泛化得很好——训练后的模型检测到了签名，而 QN 对同一测试集的标注反而漏掉了。她把这归功于 RFDETR 作为骨干网络本身够强 。

三个坑

裁判的平衡问题。LFM 倾向于大量拒绝。

如果按「共识」剔除两个裁判都否掉的样本，剩下的样本会少到泛化极差，所以她改成「最小一致」：只要一个裁判说行就保留。但如果你的数据集大、且在意召回率，她建议反过来取共识，或者人工观察 。

提示词必须人审。裁判用的提示词由模型生成，但这是全流程唯一必须人类点头的环节——你还是得看一眼你的数据集，这逃不掉 。

编码智能体是个毫无头绪的计算机视觉工程师。哪怕好如 Opus 4.8，它也会对交通标志做水平翻转、对红绿灯做抖动（数据增强的常见手段）——这肯定会毁掉你的数据集，因为翻转后的「停止」标志已经不是真实世界的标志了。她后来加了开关，可以明确告诉智能体做不做数据增强 。

工具包另一半：模型即工具

工具包里是她从深度估计到零样本分割（不给训练样本、直接用自然语言指哪分割哪）的私藏模型清单，依据三条选型标准：许可证优先（必须 Apache 2.0 或 MIT）、性能达标、最后才是 vibes。选型靠 Hugging Face 几个月前上线的基准排行榜加上她自己读 CV 会议论文 。

她特别安利了一个冷门模型：大部分模型做不了开放式指代分割——「分割这辆红车」可以，但「分割蓝色车旁边那辆橙色车旁边的红车」就做不到。TII 出的 Falcon Perception 能做到，而且只有约 6 亿参数、Apache 2.0 许可证。

其他推荐：姿态任务用 sapiens 系列；零样本检测用 Moondream 3 和更小的 MM Grounding Dyno；OCR 从基准榜按大小选。整套还带 RoboFlow 的 supervision 和 tracker 库，可做实例和边界框跟踪 。

下一步

工业场景的部件往往「不可描述」——自然语言不是好入口。她认为图像引导检测（给一张示例图，让模型在所有图像里找同类物体）可能是出路。

另外她想试交并比合并：不让裁判做接受/拒绝的二选一，而是让裁判自己生成框、取交并比。分割支持也在做。

至于训练 VLM 本身实现自我改进？她说那很令人兴奋，但得先解决开发者训练任务专用模型并部署到边缘这件事 。

【背景】交并比即 IoU，是目标检测中衡量两个边界框重叠程度的常用指标。

本集带走

• VLM 当标注器+裁判，专用模型干活：想实时、想小模型部署，别直接上 VLM；用大 VLM 标注、小 VLM 集成当裁判，最后训练 RFDETR 这类小模型。
• 裁判合并取「最小一致」而非共识：小裁判爱拒绝，取共识会把你数据剔光；数据集大且在意召回时再考虑共识。
• 把边界框画在图上给裁判看，别传坐标 token——直观且更准。
• 盯住编码智能体的数据增强：水平翻转交通标志、抖动红绿灯这类操作会悄悄毁掉数据集，要么关掉要么人审。
• 先查许可证再选模型：YOLO 是 AGPL 3.0，商用要付费；优先 Apache 2.0 / MIT。
• 整条流水线成本约 3-4 美元：标注走便宜的无服务器接口，评判和训练用按次作业即可。
• 冷门宝藏 Falcon Perception：6 亿参数就能做复杂指代的零样本分割。

他们试图用视觉语言模型做所有事情，但你永远无法做到实时。
they try to use vision language models for everything, but you will never get real time.
—— Merve Noyan · [01:08]

大多数人让 VLM 或 LLM 给标注打一个分数，但这些分数完全不管用，尤其是当你的模型和裁判规模不同的时候。
most of the people ask the VLM or LLM to assign some score to it, but those scores absolutely don’t work, especially if your models are of different size with judges.
—— Merve Noyan · [06:28]

总体上如果你想跑这整条流水线来训练模型，大概要三、四美元，这对我来说太疯狂了。
overall it takes like three, four dollars if you want to run this entire pipeline to train models which to me is crazy.
—— Merve Noyan · [08:54]