跨国深谈← 返回←又快又免费的 Jev：让 AI 变成「最聪明的函数」

又快又免费的 Jev：让 AI 变成「最聪明的函数」

关联

人物 Clara Vo · John Lindquist

公司 TypeSafe AI

概念 Jev · LLM · 函数调用 · 智能体 · 置信度分数 · 路由器 · 实时

来源 Lenny’s Podcast

这一集是 How I AI 的「Jev 周」特别节目。Jev 是 TypeSafe AI 推出的新模型，和常见 LLM 完全不同——它不输出文本，输出的基本是决策、评分和是/否的概率：非结构化的语言进去，结构化、类型安全的数据出来。主持 Clara Vo 是产品负责人，嘉宾 John Lindquist 是开发者（上期做过本播客最受欢迎的一集），他手上有约 23 个 demo，全部围绕 Jev 展开。

为什么兴奋：又快又便宜

John 的核心答案是快和免费。以前给 LLM 发个基本请求、就为让它调个函数，得等一会儿；现在基本是即时的。

他做了几百个 demo，总共只花了 73 美分 。Clara 有同样的经历：跑两万多条记录，账单是 0.4 美分。

John 曾以为手头五个 GB 的 JSON 绝对不可能倒给 LLM——没那个预算——结果整个跑完只花了 40 美分、几分钟时间。Clara 总结：这个基本免费、快得不可思议的模型，让你能对以前认为「ROI 不值得」的数据做探索，打开了以前关着的门 。

Demo 一：实时语音待办清单

John 现场演示：对着应用说「预约牙医，移除」「买燕麦奶，完成」「审查 pull request，低优先级」——全程不停顿、不按回车，每句都被实时执行 。背后是多层分类的流水线：先分析听写本身是否有效，再判断它匹配列表里哪个任务，再判断要执行哪个操作，每一层都带置信度分数。

更妙的是，边听写它边判断「现在是否已有足够信息可以调用函数了」，所以你根本不用停顿。他反向构建这个应用：先定好「标记完成/删除/新增」这些最终函数，再倒推听写怎么选中它们，用 Opus 5.5 随手糊出来特别容易。日历、任何服务都在函数调用或 MCP 背后，都能接进来——而这是任何人都能便宜甚至免费构建的东西 。

Demo 二：大规模数据合并

这个 demo 处理混乱数据的经典痛点：同一个联系人录了两次、数据库里两条公司记录。Jev 遍历全部记录做两两比较——「Cedar Grove Office Products」和「Cedar Grove Office」显然该合并——把巨大数据集在几毫秒内合并 。

Clara 说这是她最喜欢的用例：对大量数据做两两比较来创建分组和聚类。数据量到 6 万或 60 万条时，配对在用这类模型之前贵得离谱。她还举了自己的例子：1Password 里约 2000 个密码散乱重复，用 Jev 加元数据配对合并会快得多。

实用细节有两个。一是置信度可调：可以设成「只在 99% 以上确定时才合并」，这是个能拧的旋钮 。二是验证与解释的分工——跑完一轮后，可以用更聪明的 LLM 对结果做随机抽样甚至全量校验；Clara 补充还可以让模型解释「为什么判定这两条相同」，得到「定量匹配 + 定性解释」，而且用两个相对便宜的模型就够了 。

Demo 三：Jev 当路由器

John 展示了多层抽象：用户在任意输入框里输入，记不住应用叫什么也没关系——「to do」能匹配到「to-do-to」这个工具，然后还能继续「去待办应用，把这些 pull request 全标为低优先级」。本质是：先构建最小的工具，再在外面套一层 Jev 抽象来挑选用哪个工具，这层可以想要多少套多少 。

Clara 的概括很精准：Jev 是一个非常非常快的路由器——拿到文本就路由到正确的工具，能推断到用户旅程的哪一步就直接构建出整条链再执行，不必走一步想一步 。她甚至认为，如果决策模型保持快和便宜，会催生「延迟战争」：响应越快，能解锁的「像 if-else 语句一样的魔力」越多。

Demo 四：Jev 执白子，LLM 执黑子下国际象棋

这是 John 最想展示 Jev 对比传统模型的 demo：Jev 下白棋，OpenRouter 上一个免费的低推理 LLM（好像是 Kimi）下黑棋。Jev 思考所有可能走法、排出最高的三种、再从那里推演下一步，基于两步推理选最佳落子——而且全程在一秒以内 。

基准测试显示 Jev 平均走法快 10 倍、便宜 4 倍。快棋赛有 1 分钟计时器，Jev 能赢，LLM 又贵又未必更好。Clara 读出的关键：一是速度本身就是优势，10 倍不是渐进提升，它真正解锁了「实时」；二是可以在 Jev 收窄范围之后再叠加一个更聪明的模型，用缩小后的策略集更快做出更强的决策 。

这背后是一个通用判断：国际象棋、俄罗斯方块、你的数据结构和 API，全都是有限的选项集合——俄罗斯方块就是形状 4 个选项加左右约 10 个选项；网页看着像无限的像素画布，但 DOM 里一个页面可能就 10 个可点击按钮，所以 browser use 也能被 Jev 化解成一组快速决策。John 的经验法则：「一旦动作确定下来、你有了那个有限的范围，那就是决策模型能真正大放异彩的地方；LLM 更适合完全不知道想要什么动作、需要头脑风暴和创造的场景。」

Demo 五：多智能体不碰撞

「每个 Wikipedia 页面都能点进 philosophy」的那个经典游戏，John 做成了 demo：给一个终点，Jev 通过 Wikipedia API 一路爬取找到路线。他真正偏爱的是用它表达一个工作场景：三个任务简报（送蓝色易碎箱到暂存区、送药到病房、检查泄漏）、三个智能体，每一步都由 Jev 控制它们尽快到达各自任务、且永不碰撞或互相干扰 。

它不必提前规划全程，可以即时走一步查一步。John 认为随着并行智能体和集群越来越多，这个概念会越来越重要。

Clara 的提炼很妙：Jev 解锁了「高效的低效率」——把所有路线画出来、排序、再检查是否相撞，这本身挺低效，但过去我们只能把这些题扔给大 LLM 说「好好想」；现在可以瞬间评估所有选项、排名、遍历这个低效的选项宇宙然后得出正确结论 。她的总结是：LLM 是生成式的，让你创造以前造不出的东西；Jev 让你能做那些想做但过去太贵、太慢、不值得的事——而那堆事里她还剩很多。

演讲教练与实操坑

最后一个 demo 是演讲教练：点开麦克风开始讲，给一份要点清单（播客要点、面试提纲都行），它听你说的一切、逐项打勾确认覆盖，还能加红色警告灯提醒「时间不多了，还有这些没讲」。Clara 说想象演讲备注随你讲逐项勾选、甚至替你翻页——这对讨厌提词器、又喜欢和观众互动的演讲者太有用了 。技术上是移动窗口：逐词拼接、直到能采取行动的点就切成负载发给函数、存入历史（可撤销）、然后开新窗口。

关于不足：John 还没遇到 Jev 明显搞砸的任务（模型才发布几天），但见过有人只做单次分类就批评它不够好。他的答案是：它又快又免费，别怕多加一层分类，多跑几遍；等积累了足够多的数据、摸清了从一步到下一步的确切流程，再把那些层压缩成单层 。Clara 补充：你以为是是非题的调用，跑了发现其实该用选择题或打分题——多测几种提问方式能明显提高准确率。

闪电问答：开发者角色的转折点

聊到过去一年的变化，John 的答案出人意料：最近最有意思的事是买额外硬盘、在几台 Mac mini 之间分配工作、让 AI 盯着笔记本磁盘空间提醒「兄弟，该转给 SSD 了」。Clara 说他们俩是同一个人：她有置顶的 codex 聊天专门清理磁盘，还把一摞 Mac mini 设成远程代码机器。

但真正的重点是 John 观察到的范式转移：像 GrokBot 这类工具把「项目、文件结构、Git、版本控制」全藏到了智能体身后——你只有一个智能体列表，把研究、代码审查这些角色拉进群聊分任务就行。智能体成了最顶层，结构和代码反而是它们操心的事。

「我认为在我们与工具的关系上，这是非常重大的转折点」——除了给智能体买更多硬盘 。Clara 接了一句：从某种意义上说，管理者真的处于风险之中——组织设计和角色设计这些管理技能，现在正是你打造智能体时用得上的技能。

John 接下来几个月的全部精力放在 mega.dev——他和 Theo、Kent、Angie 一起做的课程兼工作坊，教你怎么「把智能体变成杠杆」。

本集带走

• 判据一句话：有限选项找 Jev，开放探索找 LLM。 你的 API、页面按钮、游戏手柄看起来无限，实际都是有限的动作集合；动作一旦确定，决策模型又快又便宜地完胜，头脑风暴和创造性任务才轮到 LLM。
• 它不贵到可以「瞎试」： 几百个 demo 总共 73 美分，五个 GB 的 JSON 跑一遍 40 美分。以前因为成本和速度不敢碰的数据探索，现在直接跑。
• 分类不够就加层，别放弃： 单次遍历不够好是多步问题；先叠多层分类，攒够数据后再压缩成单层。是非题、选择题、打分题也值得换着试，提问方式对了准确率明显提升。
• 配对合并是杀手级场景： 联系人去重、密码整理、数据对账——先 Jev 定量配对（可设置信度阈值，如 99% 才合并），再让便宜模型解释「为什么这两条相同」，定量 + 定性双保险。
• 速度本身就是产品能力： 实时语音待办全程不停顿，靠的是模型边听边判断「信息够不够调函数」；快 10 倍意味着可以再叠加更聪明的模型收窄决策，实时和「延迟战争」是新的竞争维度。
• 多智能体调度正在到来： 分任务、防碰撞、永不互相干扰文件——Jev 走一步查一步即可，不必提前规划全程；并行智能体越多，这种「高速裁判」越重要。

我想到我在这方面花的所有时间，还有我做过的几百个 demo，我想我一共只花了 73 美分。
I think of all the time I’ve spent on this and the hundreds of demos I made, I think I’ve spent 73 cents on it.
—— John Lindquist · [02:46]

这个基本免费、快得难以置信的模型，让你能以全新的方式对数据进行探索，感觉就像它打开了我的机会之门，让我能去审视那些我以前认为 ROI 不高的东西。
Basically free and incredibly fast allows you to do discovery over data in a way that feels like it’s opening up my opportunities and allowing me to look at things that I thought weren’t high ROI before.
—— Clara Vo · [04:11]

这里的力量在于这是人类在与机器对话：你已经把函数、API 等一切都设置好了，但你想用非结构化的数据与它们沟通。
And the power there is it’s humans talking to machines, and they’re the scenarios where you have functions and APIs and everything set up, but I want to communicate with them using unstructured data.
—— John Lindquist · [05:49]

因为你注意到我整段讲话期间，从未停顿，从未按回车。它能够分类判断：这是一个我有足够信息采取行动的时刻吗？
Because you notice that entire time I was talking, I never paused, I never hit enter. It was able to classify, is this a moment where I have enough information to take action?
—— John Lindquist · [07:54]

所以我觉得像 Jev 这样的决策模型，如果它们保持快速和便宜，可以成为一种新的方式来思考你用户体验的导航——无论是前端体验、开发者工具还是别的什么。
And so I think these decision models like Jev, if they remain fast and cheap, can be a new way to think about navigation of your user experience, whether that’s a kind of like front-end experience or a dev tool or whatever it might be.
—— Clara Vo · [17:51]

这里有一些基准测试，Jev 在平均走法上快了 10 倍，便宜了 4 倍。
it has some benchmarks over here that Jev was 10 times faster in the average move and it was four times cheaper.
—— John Lindquist · [21:41]

但我认为我们将会看到延迟战争也真正升温——响应越快，你能解锁的、感觉像一个 if-else 语句的魔力就越多，越好。
But I think we’re going to start to see like latency wars really heat up as well, which is like the faster the response, the more like more magic you can unlock that feels like an if else statement, the better.
—— Clara Vo · [22:42]

但一旦动作确定下来，你有了那个有限的范围，那就是一个决策模型能真正大放异彩的地方——至少从我到目前为止的经历来看是这样。
But once the actions are set and you have that limited scope, that’s where A decision model can really excel, at least from what I’ve experienced so far.
—— John Lindquist · [24:19]

这让我想到 Jev 解锁了「高效的低效率」——把所有可能的路线都画出来、给它们排序、再仔细检查它们不会相撞，这确实有点低效。
this made me think is Jev unlocks efficient inefficiency, which is like, it is kind of like inefficient to… Map out all possible routes, rank them, double check that they’re not going to collide.
—— Clara Vo · [30:30]

说实话，它感觉更像编程——当看到出问题时，我感觉自己掌控力强得多，因为我知道它所有的选项，我知道我想要什么。
It feels much more like programming, to be honest, where I feel much more in control when I see something goes wrong because I know all of its options and I know what I want.
—— John Lindquist · [32:51]

因为它又快又免费，别担心，就再加一层；然后随着时间推移、随着越来越多数据强化了从一步到下一步所需的确切流程，你可以把那些层压缩成单层。
because it’s fast and free, don’t worry about adding just another layer and then Over time, you could compress those down into a single layer as you get more and more data that reinforces what the exact flows are that you need to go from from step to step.
—— John Lindquist · [38:36]

我认为在我们与工具的关系上，这是一个非常重大的转折点——我们不再思考以前思考的所有事情，除了给智能体买更多硬盘来用。
And I think it’s a really big turning point in our relationships with our tools as we stop thinking about everything we thought about before other than buying more hard disks for agents to use.
—— John Lindquist · [43:21]