AI 为什么这么聪明，却干不了保险核保？

关联

人物 Sam Charrington · Diogo Almeida

公司 TypeSafe · OpenAI

概念 Jev · 可靠性 · RLHF · RLCD · RLVR · 后训练 · 校准 · 分类器 · harness · 智能体 · Claude Code · OpenClaw

三周前，Diogo Almeida 的公司 TypeSafe 发布了模型 Jev，迅速成为 AI 圈热议的话题。

有人耸耸肩说这不就是个分类器，也有人发现它快、便宜、好用，几天之内开源仿制品就冒了出来，OpenAI 也跟着发布了类似产品。

但 Almeida 说，这些讨论大多没抓到重点。他曾在 OpenAI 工作四年半，参与过 InstructGPT 和 RLHF——就是把语言模型变成今天聊天助手的那套技术。

这一次，他想回答的问题很直白：「自动化到底在哪儿？」

AI 好到超人的事和烂到没法用的事，为什么同时存在？

Almeida 的观察是：今天的 AI 在两件事上分裂得厉害。一边是 ChatGPT、DeepResearch、Claude Code 这些超人级的表现；

另一边是最简单的数据录入、保险核保、客服换信用卡，AI 烂到根本没法用，尽管背后有巨大的商业动力 。

他去 Anthropic 官网试过他们的客服智能体：扔常见问题给你很在行，但要办点实际的事就不行了。

他的解释是：整个现代 AI 只有一个工具——预测下一个词的 Transformer，外加一堆让它越来越会生成文字的机制。

文字是给人看的，而会计、客服这些工作需要的是给计算机消费的离散决定。

他甚至说，AI 实验室很有动力不诚实回答这个问题 。

机器学习的铁律：你优化什么，就得到什么

他给出的答案是「你优化什么，就得到什么」。

现有语言模型都在为字符串优化，字符串是给人看的；而自动化需要的是精确的、校准过的决策。两者完全是两回事 。

有人会说模型的强弱是锯齿状的。他反问：你见过 ChatGPT 无缘无故骂你吗？

没有——因为 RLHF 的奖励机制让某些错误变得极易惩罚，模型在这些地方就超级可靠 。所以锯齿不是天生的，是优化方向决定的。

从业者其实有很大的主动权，只是很多人没意识到。

顺带一提，他不太认同 Sutton 那篇著名的苦涩的教训（算力比算法重要）。他认为数据比算力重要，而比数据更重要的是选对任务。

RLHF 之所以带来巨大飞跃，是因为有人先想出了让人类在两个回答之间选偏好这个全新任务，然后从零造出了互联网上根本不存在的数据 。

就是个分类器？那是对它最好的夸奖

Jev 发布后，一批机器学习老兵撇嘴：这不就是分类器、逻辑回归吗？

Almeida 的回应是：分类器本来就不是什么炫技的东西，它是有用性的形状——Meta、Google 靠一堆分类器运转。

如果有人说 Jev 是一个零样本通用分类器，他会当成最高的赞美 。

他的类比是：相当于随手给每个开发者配了一支 2019 年的机器学习工程团队，你想一个任务，它当场就建好了，而且质量更高。

真正的分歧不在界面，而在智能。用小模型或嵌入向量加分类器去模仿 Jev 的接口，你得到的就是那种东西的智能水平。

他说自己当初以为这个项目一周就能做完，结果发现模型看似什么都会，唯独不擅长做决策 。

不要智能体外壳，把控制权还给程序员

Jev 对开发者的形态是：给它一组可能的决策和输入，它告诉你选哪个，还给出每个选项的概率。Almeida 喜欢把它叫智能的 SQL。

他甚至拒绝harness（智能体外壳）这个概念，认为那是无马马车式的思维——硬把智能包装成人的样子。

他的核心主张是：概率应该原样交给用户，让程序员根据自己业务的成本和收益来设阈值。

现在的大模型 API 没有这些旋钮，你只能在系统提示里苦苦哀求请别随便退款——这在他看来是工程上的疯狂。

他举例说，OpenAI 当年模型拒绝率过高需要回滚，其实就是模型内部做了一个拒绝还是不拒绝的决定，但没有任何可调阈值 。

概率凭什么可信？因为 RLHF 反而毁掉了校准

关于概率校准的难题，他透露了一点：

那些互联网的压缩包（预训练模型）其实校准得不错，真正毁掉校准的是 RLHF 和 RLVR——为了把文字写好，模型需要极端的过度自信，概率分布完全被扭曲了 。

RLCD 的思路是用校准决策作为强化学习目标，从原始模型这个好底子出发，一路训练得越来越准。

他也承认 Jev 还很早期，应该被当成早期的 ChatGPT看待，决策能力大概强于不做推理的 RLHF 模型，但还比不上最强的推理模型 。

未来的智能体，可能长得完全不一样

他写过一篇博客叫《KVCache Rules Everything Around Me》，论点是今天智能体的很多设计，其实是被上下文缓存很贵这个约束逼出来的。

他的面试题是：如果 KV 缓存不存在，你会怎么设计一个编程智能体？

一旦假设你能在飞快又便宜地获取可靠智能，扇出、过滤、重排、在上下文里做层级检索，全都成为可能 。

他猜测未来是混合形态：从今天的魔法 while 循环起步，软件逻辑一点点加上去，直到变成真正的软件多一点、魔法少一点。

对于一次性任务，直接丢给大语言模型碰运气完全合理；

但想要一个能在后台永远跑下去的依赖，上轨道不是缺陷，而是自动化的前提 。

本集带走

• AI 聪明却没用的根源，在于现有模型全是为给人看的字符串优化的，而自动化需要的是给软件消费的校准决策。
• Jev 的价值不在快和便宜，而在于换了优化目标：输出概率、暴露可调阈值，把决策权交还给程序员。
• 分类器不是贬义词——它是把智能装进软件的标准形状，Meta 和 Google 都靠它运转。
• RLHF 和 RLVR 为了生成流畅文字，反而摧毁了模型的概率校准；预训练模型本身底子不错。
• 今天的智能体架构被 KV 缓存的成本深深塑造；假设智能又快又便宜又可靠，智能体可以设计成完全不同的样子。

我用来介绍 Jev 的电梯演讲就是：那些该死的自动化到底都在哪儿。
The elevator pitch I use for Jev is just where the f** is all the automation.*
—— Diogo Almeida · [01:47]

我觉得 AI 智慧得令人难以置信，但在你真正期望它有用的那些事情上，却又无用得令人难以置信。
I think AI is just so unbelievably smart, yet so unbelievably useless at the kinds of things you’d really expect it to be useful for.
—— Diogo Almeida · [01:52]

至少 AI 实验室非常有动机不去诚实地回答这个问题。
At least the AI labs are very incentivized to not answer that truthfully.
—— Diogo Almeida · [04:28]

所以我对这个答案及其细微之处的看法是：你为什么而优化，就得到什么——这对所有机器学习的事情都成立，说真的，对世界上所有的事情大概都成立。
So my take on the answer and the nuance of it is that you get what you optimize for, which is just true of all things ML, kind of true of all things in the world, really.
—— Diogo Almeida · [04:55]

基本上所有强大的 LLM 都是为字符串优化的，而字符串是供人类或其他 LLM 消费的。
Basically all the string LLMs have been optimized for strings and strings are meant to be consumed by humans or other LLMs.
—— Diogo Almeida · [05:18]

你知道，同样是 0% 的准确率，但你永远不会得到「把脸在键盘上乱按」这种情况，因为优化中的这种不对称性。
You know, it’s the same 0% accuracy, but you never get the mashing your face on the keyboard because of the asymmetry in the optimization.
—— Diogo Almeida · [07:53]

而且我认为人们没有意识到 AI 从业者在设定他们期望的目标清单并植入模型方面有多大的主观能动性。
And I don’t think people realize how much of an agency that AI practitioners have in setting their menu of desiderata into the model.
—— Diogo Almeida · [08:22]

但我相信，数据比算力重要得多。
But I believe that data matters a lot more than compute.
—— Diogo Almeida · [10:02]

而比数据更重要的是，你需要正确的任务。
And more important than data is you need the right task.
—— Diogo Almeida · [10:09]

所以我认为真正能创造一个新任务的人其实寥寥无几，这就是「你优化什么就得到什么」的那部分。
So it’s actually a rare few that I think can actually make a new task, and that is the you get what you optimize for part of it.
—— Diogo Almeida · [10:36]

而在 RLHF 出现之前，互联网上确实根本不存在我们所要寻找的那种形态的人类反馈数据，因为我们不得不去创造它。
And before RLHF existed, there was literally no human feedback data on the internet of the shape that we were looking for because we had to create it.
—— Diogo Almeida · [12:10]

我关于科幻的论点，尤其是和 LLM 相关的，我觉得这往往就是如今人们说 AI 时的意思，因为它似乎是智能的最大压缩，同时却有着最少的实用性。
My argument with sci-fi is especially related to LLMs, which I think tends to be what people mean by AI these days, because it seems to be like the greatest compression of intelligence while having like the least utility.
—— Diogo Almeida · [16:08]

同时我也把自动驾驶看作一项巨大的工程胜利，而不一定是 AI 胜利。
And also I see self-driving as a ginormous engineering win, not necessarily an AI win.
—— Diogo Almeida · [16:46]

我觉得这里愤世嫉俗的循环是：做一个 demo，融一笔种子轮或 A 轮，说你会把它做可靠，最后却从来没有把它做可靠，然后转而做一个 human-in-the-loop 版本的东西，而不是真正把这个任务自动化。
My cynical loop here is make a demo, raise a seed or series A, say that you’re going to make it reliable, never end up making that reliable, pivot into a human-in-the-loop version of this thing instead of actually automating the task.
—— Diogo Almeida · [17:33]

那大约是六年前的事了，而客服仍然没有被解决。
That is now roughly six years ago, and customer service is still not solved.
—— Diogo Almeida · [19:13]

人们不断尝试自动化得来速却不断失败，对此没有什么好的解释，除非得来速比未解的数学难题还难。
People keep trying and failing to automate drive-throughs and there’s no good answer for that other than maybe drive-throughs are harder than unsolved math.
—— Diogo Almeida · [19:41]

而且总体来说，获得更高可靠性的方法是放大聚焦。
And in general, the way to get higher reliability is to zoom in.
—— Diogo Almeida · [21:26]

但北极星一直是：如果 AI 真正、真正地为「对软件有用」而优化，它会长什么样？
But the North Star has always been, what does AI look like if it’s really, really optimized for being useful for software?
—— Diogo Almeida · [23:09]

它们就是「有用性」的形态本身。
They are literally the shape of usefulness.
—— Diogo Almeida · [25:15]

我其实觉得，如果有人告诉我们，我们做的是「针对任何东西的零样本通用分类器」，那会是 Jev 得到过的最高赞美。
I actually think if someone told us that we were a zero-shot general classifier for anything, that would be the greatest compliment I’ve ever been given for Jev.
—— Diogo Almeida · [25:37]

而我相信他们在思想上相当正确，但他们一直被拖累，因为模型是为字符串优化的，而不是为他们想要的东西优化的，也就是程序化的使用。
And I believe that they’re intellectually quite correct, but they’ve been hobbled by the models being optimized for strings instead of them being optimized for the thing that they want, which is programmatic use.
—— Diogo Almeida · [27:23]

而我的团队一直让我别再跟人讲这个，因为这会让我们更有可能遇到竞争。
And my team has been telling me to stop telling this to people because it makes it more likely we have competition.
—— Diogo Almeida · [28:19]

我觉得人们就是没意识到他们是在为智能付费。
I think people just don’t get that they’re paying for intelligence.
—— Diogo Almeida · [28:53]

我担心的是，如果人们玩的是这个模型的糟糕版本，他们可能会被整个子类别坑到，然后说：嘿，这类东西就是垃圾。
I worry that if people play with bad versions of the model, they might actually get burned by the whole subgenre and say like, hey, like, like this kind of stuff is crap.
—— Diogo Almeida · [31:03]

你知道吗，我想成为的标杆是，让 AI 可靠到无聊透顶，就像 SQL 那样。
You know, like, I want to be a paragon of making AI so reliable that it’s boring, like SQL.
—— Diogo Almeida · [32:26]

而且，我再怎么强调都不为过，可靠性才是人们付费买的东西。
And also, I cannot emphasize enough, reliability is what people are paying for.
—— Diogo Almeida · [32:58]

说到这个，如果你想听一个关于我的有趣又尴尬的事，就是当时我有了这个想法、那个 aha 时刻击中我的时候，我在 OpenAI 写了一份文档，题目是「我们本来去年就能拥有 AGI」。
On that note, if you want a fun, embarrassing thing about me, is at the time I had this idea and the aha hit me, I wrote a document in OpenAI entitled, titled, maybe not entitled, titled, we could have had AGI last year.
—— Diogo Almeida · [33:38]

如果我们用我们这点预算能做出比全世界其他人都更好的预训练，那全世界其他人都彻底完蛋了。
If we could pre-train better than the rest of the world with the budget we’ve had, then the rest of the world is totally cooked.
—— Diogo Almeida · [43:39]

你知道，指数级增长的资源换来有争议的线性收益，看起来是非常次线性的。
You know, exponentially more resources for debatably linear gains seems very sublinear.
—— Diogo Almeida · [43:57]

发表 RLHF 对世界来说可能是件好事。
Publishing RLHF was probably really good for the world.
—— Diogo Almeida · [48:01]

任何 function calling API 都不应该存在，而不带一个针对函数本身的逻辑偏置。
No function calling API should exist without a logic bias for the function itself.
—— Diogo Almeida · [49:35]

所以对我来说，RLCD 就是把正确的接口暴露给构建者，让他们可以获得想要的属性，而不只是对着 system message 祈祷。
So to me RLCD is about exposing the right interface to builders so that they can get the properties they want without just praying to the system message.
—— Diogo Almeida · [50:16]

一个 ML API 的产品本身有很多门道，大多数人没有意识到，因为他们无脑地追随 MAU、月活用户之类的东西的梯度。
There’s a lot to the product of an ML API that most people don’t realize because they mindlessly follow the gradient of things like MAUs, monthly active users.
—— Diogo Almeida · [52:13]

实际上，RLHF 和 RLVR 极大地破坏了模型的校准，因为要想把字符串输出好，你实际上需要极度过度自信。
Actually, RLHF and RLVR destroy the calibration of the models immensely because in order to output strings well, you actually need extreme overconfidence.
—— Diogo Almeida · [56:42]

它并不像其他模型那样处于收益递减的极端平台期。
And it is not in the extreme plateau of diminishing returns like other models are.
—— Diogo Almeida · [69:10]

我的猜测是，当他们最终把它放进分发中时，就发生了这种情况，因为你优化什么就会得到什么。
My guess is this is what happened when they finally put it in distribution because you get what you optimize for.
—— Diogo Almeida · [70:48]

如果你的系统消息里有你整套业务算法，而逻辑却运行在别人的服务器上，这是很奇怪的。
It’s weird for the logic to be running on someone else’s server if your system message has your whole business algorithm on it.
—— Diogo Almeida · [74:03]

而我愿意这样想：总有一天智能会像数据库一样，当你在代码中需要智能时就直接调用它。
And I like to think of it as like one day intelligence will be like databases where you just call it when you need it, when you need intelligence within your code.
—— Diogo Almeida · [74:25]

KVCache 有点像到处使用全局变量，但如果你能对自己的状态聪明一些呢？
The KVCache is a little bit similar to having global variables everywhere, but what if you could be smart about your state?
—— Diogo Almeida · [80:48]

慢慢地加入越来越多的逻辑，因为要在像 Claude Codes 和 Codexes 这样的东西里添加额外的 harness 逻辑非常困难，因为它们的核心循环就是一个 while 循环。
That slowly add more and more logic because it’s very hard to add additional harness logic into like the Claude codes and codexes because their core loop is just a while loop.
—— Diogo Almeida · [82:37]

而且待在轨道上是一个特性，你知道的，你不会想去一个没有轨道的游乐园，或者至少没有轨道、安全带和所有那些东西你就玩不了最好玩的项目，对吧？
And it is a feature to be on the rails, you know, like you don’t want to go an amusement park that doesn’t have its rails, or at least you can’t do the most fun stuff without like the rails and the seatbelts and all of that, right?
—— Diogo Almeida · [86:24]