跨国深谈← 返回←Anthropic 产品负责人:评估是新的 PRD,不反驳你的 AI 才是好 AI

Anthropic 产品负责人:评估是新的 PRD,不反驳你的 AI 才是好 AI

关联

人物 Dianne Penn · Lenny

公司 Anthropic

概念 Claude · Claude Code · 评估 · 涌现能力 · 金门大桥版 Claude · 前沿模型 · 技能 · PRD · 智能体 · Labs

来源 Lenny’s Podcast

如果你正在用 AI,最该担心的反而是它对你句句附和——在 Anthropic 的产品负责人 Diane 看来,真正有用的 AI 不是百依百顺的执行者,而是会在你想法不成熟时果断反驳你的陪练伙伴。

这一集 YC 的对谈里,Diane 讲了五件事:Anthropic 早期是怎么从做聊天助手一步步找到自己独特身份的;身处 AI 飞速进步的指数曲线内部,团队如何靠「评估」和敏捷适应来跟上变化;她负责的 Labs(孵化团队)为什么能在核心产品线之外变出 Claude Code 和 MCP 这种重磅炸弹;AI 时代的产品经理到底该怎么干——连管理者都必须亲自下场写代码;最后她分享了怎么在日常工作中把 Claude 当作提升判断力和情商的私人教练。

回到 Anthropic 早期,Diane 是 2023 年作为首位技术产品经理加入的,当时产品团队只有五名工程师,整个 API 业务只有一个人在撑。那时候大家都在想一个问题:面对遥遥领先的 OpenAI,为什么用户要选 Claude?

她说当时的能量非常像初创公司,大家在寻找自己的身份认同。一个早期标志性的内部转折点,是 2024 年初他们发布了可解释性研究(打开模型内部看不同神经元层代表什么概念),发现模型里有个特征对应「金门大桥」。

于是团队把它调高,Claude 就变成了「金门大桥 Claude」——你问它怎么做意大利面,它都会告诉你面条的颜色像金门大桥的橘红色。 这个古怪模型只上线了 24 小时,可能只触达了 2000 人,但它让团队突然意识到:我们能用跟竞争对手完全不同的方式把研究变成用户体验。这奠定了 Anthropic 自下而上、公开实验的文化底色。

另一个真正的转折点是 Opus 3(前沿模型即代表当下最顶尖能力的模型)。当时公司不到 200 人,迫切需要证明自己能造出一个前沿模型。

在此期间,团队捕捉到了一个信号:人们开始用模型不只做代码补全,而是写长篇代码。于是他们决定在训练上做一个相对较小的调整,让 Opus 3 在编码上更强。

这在当时没什么人看好,但就是这个小改变,帮他们在早期吸引了大量铁杆开发者和爱好者。 到了后来的 Opus 4.5,Diane 认为那是另一个大飞跃——但关键不只是模型变强了,而是他们终于有了一个绝佳的载体(Claude Code)。

Opus 4.5 让 Claude Code 被大规模采用,而 Claude Code 也让 Opus 4.5 的智能真正落了地。她有一句话总结得很到位:你需要前沿产品才能让人们感受到前沿模型的魔力。

【背景】Dario 指 Anthropic CEO Dario Amodei。转写稿中出现的 Fable 与 Mythos 均指 Anthropic 的新一代模型;Golden Gate Claude 则是早期展示内部研究的一个古怪聊天模型。转写稿中的 TAG 实指 Tag(一款智能体协作产品)。

身处进步如此之快的指数曲线内部,是什么样的体验?Diane 打了个比方:就像我们大多数人没赶上互联网从新奇物变成日用品的过渡期,而现在我们正处于 AI 的那个阶段。

这意味着适应能力比死守计划更重要。她解释了缩放定律(Scaling Laws,即模型随着算力和数据增加而变聪明的规律)论文里的一张图:虽然模型整体智能提升是平滑的曲线,但在某些特定能力上会出现不连续的、跳跃式的「涌现」(Emerging Capabilities,即模型突然掌握了之前完全不会的能力)。

这就带来一个产品难题:你可能训练出了一个能做某件厉害的事的大脑,但你自己都不知道。因此,必须靠评估(Evals,用来测试模型特定能力的测试集)来系统性地挖掘和衡量这些能力。

她还呼应了 Garry Tan(YC 总裁)的观点:如果你现在愿意花重金买大量 token 来疯狂实验,你其实是在提前过 2028 年的生活。 但 Diane 强调,花 token 只是输入,真正的输出是实验;而实验不该是孤军奋战。早期 Anthropic 内部有个 Slack 频道,所有人都在上面公开测 Claude,一个人发现个妙用,其他人马上跟风试变体,往往十来次请求就能撞出一个黄金用例。

这种集体探索的习惯,直接催生了 Labs。Labs 的定位是去拉扯那些不在核心路线图上、非连续性的巨大赌注。

像 Claude Code、Skills(技能)、MCP 以及最近的 Claude Design,都是从这儿冒出来的。Labs 的运作逻辑有两个核心:一是团队规模极小,有时候想法就源于一个工程师,因为团队一大反而会被模糊的大目标拖慢;二是招人的标准很苛刻,专挑那种享受从零到一、不怕项目被砍的创始人型人格。 他们会笃定一个大方向,但对具体原型保持松散,做不出名堂就先搁置,等过一两个模型世代再说。

那 AI 实验室里最核心的研究员整天到底在干嘛?Diane 说,优秀的绝不仅是天天对着数据调参数,他们身上有一种「创始人式的能量」,敢于构想让 AI 像人一样操控电脑屏幕这种宏大未来。

他们的共同特质是:第一性原理思维强、贴得很近训练底层的细节、品味极佳,而且志存高远。Diane 团队(研究产品经理)的活儿,就是把用户那些含糊的反馈翻译成研究员能懂的语言。

比如用户说「Claude 产生幻觉了」,这根本没法干活;团队要去挖转写记录,搞清楚究竟是工具调用失败了,还是知识检索抓错了事实,然后把痛点标准化成一个评估集(一组测试用例)交给研究团队去修。 她在内部有句名言:评估是新的 PRD(产品需求文档)。

以前 PM 写写文档就行,现在你得像测试驱动开发(先写测试用例再写代码)一样,先写出能精准捕捉用户痛点的评估集。但她也澄清,PRD 没死——在需要让一大群人(法务、工程、安全)对齐真相时,PRD 依然是不可或缺的载体。

聊到 AI 时代的产品经理该怎么转型,Diane 的态度异常坚决:不管是刚入行的新人还是资深的领导,如果你想管好团队,就必须自己亲自下场用技术交付产品。你得像关注界面像素一样去逐字死磕模型的 token。

如果你自己不摸代码、不体验模型的迭代速度,你根本无法判断什么是好的 AI 产品。她还分享了自己独特的用法:把 Claude 当作提升管理和沟通能力的私人教练。

她用 Skills 功能做了一个助手,灌入了《关键时刻》等沟通经典的理念。遇到难搞的谈话前,她会先跟 Claude 演练,让它帮她找切入点、推敲措辞。

这个用法直接引出了一个有趣的现象:很多人怕用多了 AI 会大脑生锈。Diane 承认这个风险,所以她的原则是:遇到需要个人判断的事,先自己想清楚立场,再带着观点让 Claude 充当陪练去反驳和打磨——她其实希望 Claude 能在想法不靠谱时直接说不,这才是好 AI 应有的样子。

既然「构建」变得如此简单,人类大脑还有多大用处?Diane 认为是判断力。

面对无数种可能的构建方向,判断哪些值得做,这极其依赖经验的积淀。 至于怎么培养孩子,她的答案跟刚才一脉相承:培养他们的好奇心和坚持,更要帮他们建立属于自己的主见和内在声音。

最后被问到在如此高压、快节奏的环境里怎么防止精力耗尽,她的答案是:靠团队。这从来不是个人运动,Anthropic 内部甚至管这种默契叫「进入蜂巢思维」。

即便你休假,也不用担心回来面对烂摊子,因为总有人能顶上。这种低自我、极度协作的文化,才是让他们能持续高频发布的真正燃料。

本集带走

最后收个尾,这一集值得带走的是这几条核心洞察。第一,想要跟上 AI 的狂飙,别死守原计划,得靠极度贴近细节的评估来捕捉模型随时涌现的新能力。第二,好产品往往来自公开的集体实验和极小团队的快速试错,与其憋大招,不如把原型丢出去让大家一起玩。第三,产品经理的活儿变了,要先写测试用例再去解决问题,管理者也必须亲自下场写代码、做交付。第四,要用好 AI 又不被反噬,关键是先保有自己的判断,然后把它当成会反驳你的陪练,用来提升智商和情商。最后,在 AI 无所不能的时代,真正稀缺的反而是深度的判断力、对用户痛点的同理心,以及一个能互相托底的团队文化。

我们团队中实际上有一种说法,评估就是新的 PRD。
We actually have a saying on the team of evals are the new PRDs.
—— Dianne Penn · [41:41]

你需要前沿产品才能拥有前沿模型,并让人们感受到前沿模型的魔力。
You need frontier products in order to have frontier models and for people to feel the magic of frontier models.
—— Dianne Penn · [12:59]

如果你现在愿意每年花 10 万美元在 token 上,你就是在过着 2028 年的人将要过的生活方式。
If you are willing to spend $100,000 a year right now in tokens, you are living the way somebody in 2028 is going to live.
—— Lenny · [20:11]

为了让 Claude 更有用,通用方法必须是它知道什么时候该反驳。
In order for Claude to be more useful, the general approach has to be that it knows when to push back.
—— Dianne Penn · [65:55]

所以当你基本上调高那个特征时,Claude 就会痴迷于金门大桥。
When you actually essentially dialed up that feature, Claude would obsess about the Golden Gate Bridge.
—— Dianne Penn · [05:42]