跨国深谈← 返回←别再微管理 Claude:Claude Code 造物主的智能体实战心法

别再微管理 Claude:Claude Code 造物主的智能体实战心法

关联

人物 Boris Cherny

概念 Cloud Code · Opus 5 · 智能体 · 提示词注入 · 系统提示词 · 产品冗余 · 动态工作流 · 测试时计算 · 消融 · 例程 · 实证心态 · 验证 · Bunn · 沙箱

把十几万行代码、整个底层运行时从一种语言换写成另一种语言,最顶尖的工程师要干一年多——Boris 的团队靠 Claude 给出一句指令,让它自己跑了十一天就干完了,而且已经上线。说这话的人是 Boris,Claude Code 就是他造的。

这一集 YC 的对谈里,他围绕刚发布的 Opus 5 讲了四件事:新模型到底强在哪,为什么一发布他反而敢删掉 Claude Code 八成的系统提示词;怎么从下死指令换成给目标、给护栏、放手让模型自己干自己验;怎么用动态工作流同时指挥成百上千个智能体,把几十名工程师的维护活全包掉;以及,如果编程真被解决了,工程师和学生该学什么。带着这张地图,我们挨个过一遍。

先说新模型 Opus 5。它最反直觉的能力,不是某个单项跑分变高,而是它能连着跑很久很久。

Boris 说,配上 Auto Mode,它可以连跑几天、几周甚至几个月不停,因为它自己知道要把任务干完。更关键的是,这个模型似乎终于做到了业内多年没解决的安全难题:无法被提示词注入(攻击者诱导模型执行删除文件等恶意指令)。

为了实现这一点,他们把三层防线叠在一起:三年对齐研究训练出的模型本身,加上基于 Anthropic 机械可解释性研究做的提示词注入分类器——这套系统真能看到模型脑子里有神经元在提示词注入时亮起来,最后再加一层 Auto Mode 分类器。三层一叠,他们自己搞红队测试、办比赛都攻不破了。

既然模型变这么聪明,Claude Code 的系统提示词(告诉模型怎么行动的初始指令)就成了累赘。Boris 做的第一件事就是删——这次新模型发布,他一口气删掉了八成以上的系统提示词。

原因很简单:以前塞进提示词里的东西,多半是在打补丁,纠正模型本来该懂却不懂的行为。现在 Opus 5 本身变聪明了,补丁不仅没用,反而碍事。他们甚至做了个内部叫 simple mode 的实验功能,把所有提示词全删光去跑,发现模型反而表现得更聪明一点——当然,作为给普通用户用的产品,有些提示词还是得留着,好让它更符合人的使用习惯。

这种删了再加的思路,不只用在提示词上,整套工具和代码他们都一直在删删改改。他们用研究里叫 ablation(消融实验:把系统里某部分去掉,看它对整体的影响)的方法,把整个系统提示词删光,再一行行加回来,看每一行到底有没有用。他们的建议很直接:做智能体产品的人,每次新模型一发布,就得敢于全删重来;普通用户用 Claude Code,也得每六个月把旧的配置全删了,看看光靠新模型自己能干到什么地步。

旧代码删了,该怎么重建?这就要换一套全新的干活思路了。

Boris 说,别一上来就去猜模型需要什么指令。先删,再用。

用的时候观察它在哪反复栽跟头,只有真确认它在这个点上反复犯傻,你才把针对这点的指令加回去。这背后的核心,是他反复强调的一个认知转变:别把模型当成一套你写好规则的系统,要把它当成一个活物。

它每一代都有自己的脾气,你得花时间观察它,用做科学实验一样的心态去试错、看结果、再调整。连评估集他们都是攒着用,直到模型把某项测试刷到满分、测不出差距了就扔掉换新的。

顺着这个思路,Boris 抛出了他认为当下最大的机会所在,他管它叫 product overhang(产品冗余:模型明明已经具备了某种能力,却因为现有产品的形式太死板,没法把这个能力真正用出来)。他说,模型今天能做到的,远比大家意识到得多。

一两年前做 Claude Code 的起点就是这个:当时最好的同类产品还在做单行代码补全、做个只能读不能写的对话框,而 Sonnet 3.5(Anthropic 当时推出的模型)其实已经能写整个文件了。他做的,就是给模型一个终端的完整权限,把手脚放开,产品就成了。

那今天的产品冗余在哪?Boris 说,去给模型派那种你觉得难到离谱的活。

他用了一个活生生的例子:Bun 是一个开源的 JavaScript 运行时(程序跑代码的基础环境),原本是用 Zig(一种需要手动管内存、很容易出内存泄漏的底层编程语言)写的。Bun 团队本来只让 Claude 去模糊测试(自动找代码漏洞)找内存泄漏。

后来团队里的 Jared 干脆说,咱直接让模型把整个运行时从 Zig 重写成 Rust 吧。他写好了测试用例(用来验证代码写得对不对的自动检查)作为衡量标准,用了一个叫动态工作流的功能,给了模型一句指令,就让它自己去干了。

结果它连跑了十一天,把十几万行的底层代码全换了,而且现在 Claude Code 跑的就是这套新代码。这在以前,顶尖工程师干也得一年以上。

Boris 说,别再像以前那样下死指令了。很多人用 Claude,非要把步骤拆成一二三四五,要求它必须这么做。

正确做法是上移一个层次:你给个高难目标,给好护栏(安全边界)和退出标准(怎么算干完了),然后就放手让它干。现在的提示词工程,关键不在于怎么把指令写得花哨,而在于怎么给模型配好自己验证结果的工具。

他举了自己的实验:他想把用 Electron(一个网页技术做桌面软件的框架)写的桌面应用,用 Swift(macOS 原生开发语言)重写一遍。他只是开了个叫 Claude Tag 的内部测试产品(在 Slack 里直接使唤 Claude),让它自己在云端开个 Mac 虚拟机,跑两个版本,一个像素一个像素地截图对比,对不上就别停。这个任务一跑就是两个多星期,到现在还在后台跑着,还自己在 Slack 里开个频道,每隔几分钟发张进度截图。

像这样能干上几个星期的任务,以及怎么真正实现用成百上千个智能体产生巨大杠杆,就要靠工具的升级了。说完了任务怎么派,接下来就是怎么调度它们。

Claude Code 有个叫动态工作流的新功能。你只需说一句用工作流,它就会在 Bun 运行时里开个虚拟机当沙箱(隔离的安全运行环境),然后自动编排出大批智能体去干活。

Boris 的老本是函数式编程,他把这套机制设计成了一套智能体的代数:有些环节并行跑,跑完交给下一批智能体验证总结,然后再展开一层。他把它定义为一种全新的测试时计算(模型在生成回答时投入的算力)扩展方式。

第二种调度方式叫循环和例程。循环是本地的定时任务,例程是跑在云端的。

这就是不共享上下文、但能反复执行的活。Boris 说,他们现在已经让 Claude 自己维护自己的代码库了。

每天有二三十个例程自动跑:比如有一句话提示的死代码清理员,每天用静态分析自动提删改请求;有自动发布已经全量灰度的实验功能的;有专门给缺测试的代码补测试、删掉以前模型写的废测试的;还有他最喜欢的抽象警察——专门去各个代码库里找那些其实是一回事、却被重写了好几遍的代码,把它们合并成一个。每天几百上千个智能体在后台干这些活,顶替了几十上百个工程师的维护工作量,工程师就能省下精力去发布新产品、跟用户聊天。

工具变了,人怎么办?这正是最后一个话题。

主持人追问:既然编程基本上被解决了,什么样的人才能脱颖而出?Boris 先做了个限定:对普通的业务代码,编程确实算被解决了;但对深层系统代码、分布式系统、偏差一个像素都不行的 UI 验证,Claude 依然会挣扎。

不过对于剩下的大部分活,真正能拉开差距的,是一种彻底转向实证主义(基于实际观察和实验,而非死守理论)的心态。你得忘掉过去对老模型的成见,忘掉课堂上学的那套死板的系统工程理论,重新去观察这个活物,看它哪里做不好,再去补上。

至于还在学校学计算机的学生该学什么,Boris 讲了自己的故事:他初中时为了数学考试作弊,在 TI-83 计算器上自学写了第一门 BASIC 程序。数学变难了,他就去学更底层的汇编语言继续写求解器。

编程对他从来都是解决实际问题的工具。所以他的建议很实在:别只啃计算机科学理论,要去学怎么把东西做出来。

去学怎么做产品设计、怎么建立商业直觉、怎么做数据科学、怎么去跟真实的用户交谈。只有把这些能直接解决现实问题的硬技能,和计算机科学结合起来,才是真正有价值的东西。

本集带走

最后收个尾,这一集值得带走的是几个硬核判断。第一,新模型一发布,先敢删。那些为旧模型打的补丁和死指令,如今多半在拖后腿,删掉看它真实的表现。第二,别把任务拆成死步骤,像对待同事一样,给它目标、护栏和验证标准,然后放手,它能连着跑上两个星期去完成。第三,真正的杠杆不是让一个模型写代码,而是用动态工作流或定时例程,编排成百上千个智能体同时干活,把繁琐的维护活全包了,人省下来去做发布产品、跟用户聊天这些真正需要人的事。第四,忘掉你脑子里那套旧的系统工程理论,转向实证主义,去观察、去试错。最后,对还在读书的人来说,别只学写代码,去学怎么应用它——学设计、学商业、学怎么跟用户交谈,这些才是让你不被替代的真正壁垒。

字面意义上，就是在提示词注入发生时，观察模型大脑中亮起的神经元。
where it’s literally, we’re looking at neurons in the model’s brain that light up when prompt injection happens.
—— Boris Cherny · [03:00]

只有当你看到它反复在同一件事上绊倒时，你才应该把它加回去。
And only when you see it repeatedly stumble on the same thing, that’s when you add it back.
—— Boris Cherny · [08:36]

通常，我们只是让 eval 饱和，然后我们必须把它扔掉，我们必须想出一个新的 eval。
Very often, we just saturate the eval, and then we have to throw it away, and we have to come up with a new eval.
—— Boris Cherny · [10:36]

它运行了11天。它重写了整个代码库。
And it ran for 11 days. And it rewrote the entire code base.
—— Boris Cherny · [18:01]

验证，我认为，可能是人们做不对的单一最重要的事情，大体上。
And the verification, I think, is probably the single most important thing that people do not get right, largely.
—— Boris Cherny · [20:51]

忘掉你在课堂上学到的关于计算机科学理论的所有东西。
forget everything that you learned about computer science theory in class.
—— Boris Cherny · [32:11]