前沿实验室高管亲口说：AI 有一个我们不该越过的智能上限

关联

人物 Prakash Narayanan · Thomas Somers · Sean Wang

公司 Positron · Anthropic · NVIDIA · Latent Space

概念 智能体 · 预训练 · 蒸馏 · 推理 · 内存带宽 · RL 环境 · 缩放定律 · SaaS · 上下文长度 · 递归自我改进 · 形式化验证

上周末，The Cognitive Revolution 的主持人 Nathan 参加了在伯克利举办的 The Curve 大会。这是少数前沿实验室内部人士与外部批评者同处一室的场合。

他带回了几个相当有分量的说法，其中最惊人的是：

一位所有人都能叫出名字的前沿实验室高管承认，AI 的智能可能有一个人类不该越过的上限。

本期节目还聊到内存价格暴涨、AI 如何改写芯片和软件行业，以及 AI 在音乐上的表现。

前沿实验室的人开始说不该再往前走了？

Nathan 观察到一个变化：两年前大家分歧巨大，如今在一点上趋于一致——AI 确实会变得非常强大，不能再指望泡沫自己破掉。

用 Helen Toner 的话说，长预期时间线已经变得超级短。

那位高管透露了三件事。第一，预训练依然在起作用，模型基础能力持续变强，没有明显的停点。

方法之一是合成数据：让模型自己把推理过程转化成下一代的训练数据——这本身就是一种递归自我改进。

第二，他认为最新的前沿模型已经具备了做出范式级突破所需的研究品味，只是还没找到把它引出来的办法，所以才需要上万个智能体去撞千年大奖难题。

第三句才是真正的新闻：「很可能存在一个我们就不该越过的智能水平。」

Nathan 追问：那你愿意签署一个限制下一次预训练所用算力的协议吗？对方的回答是，这可能确实是合理的。

这是他第一次从前沿实验室领导者口中听到如此明确的设限表态。

设上限意味着什么：算力扩建的终结？

联合主持人 Prakash Narayanan 指出其中的矛盾：

智能提升来自算力和数据精炼，限制智能上限就等于限制算力扩建和数据精炼，这影响太大了。

但 Nathan 认为，算力需求不会消失，只是用途会变。英伟达的 Jensen Huang 说过，英伟达花 20% 的精力设计芯片，80% 用于验证和测试。

前沿实验室接下来也会转向：让模型安全、可靠。

未来的大部分算力可能会花在监控上——比如监控模型内部激活，或者修复训练环境里的漏洞：

让模型先去攻击自己的训练环境，找出能钻空子的地方并修好。

实验室发现，环境越干净，模型作弊越少，一条雏形中的缩放定律正在浮现。

另一条消息是：会上几乎没人再谈 2028。大家的说法是，关键时期就是现在，未来几个月的决策和算力使用方式可能决定一切。

还有人预测，一年之内，不做最好的科学将离不开 AI。

其他公司是怎么追上的？靠蒸馏

会上还流传一个判断：真正推动前沿的只有两三家公司，Elon 和 Zuck 的公司其实一直在间接蒸馏 Claude 的能力。方式很隐蔽：

市面上卖训练环境的厂商，很多是用 Claude 来生成这些环境的，其他公司买回去训练，等于变相继承了前沿模型的能力。

有创始人说，如果前沿公司不发布模型、没有这些泄漏，Anthropic 当年到 2026 年没人能追上的预测可能真会实现。

【背景】蒸馏指用强模型的输出数据来训练较小的模型，从而低成本获得类似能力。

内存价格一年涨了 4.5 倍，为什么大家还在买？

节目的第二部分采访了 Positron 的联合创始人 Thomas Somers。这家公司做 AI 推理芯片，最近融了 8.75 亿美元。

他给了个直观的数字：一年零一周前的内存报价，现在已经涨了 4.5 倍，明年可能再翻倍。

但大家照买不误，原因很简单：同样多的内存，今天能跑的模型比去年强了不止 5 倍。

真正的瓶颈是上下文长度——他自己的后台智能体从几个月前的 2 到 4 个，涨到了 15 到 20 个，每个都要独立的上下文，内存需求爆炸式增长。

Positron 的做法是用手机、笔记本电脑同款的廉价内存，靠架构设计榨干它：

英伟达 GPU 实际只能用到理论内存带宽的 30% 到 40%，而他们第一代产品做到了 93%。 下一款芯片 Asimov 单颗能装 2.3 TB 内存，是 B300 的 288 GB 的 8 倍，一颗顶八颗。

更有意思的是 AI 对芯片开发本身的改变。

他说，从 9 月初 GPT-6 Astra 发布起，智能体可以完全闭环地操作他们的 Palladium 仿真机：自己查文档、自己做笔记、自己搭测试环境。

在验证这件事上，AI 的钱已经超过了人力成本——6 个月前 token 花销相当于 1 个员工，之后一度超过多个员工，峰值时一天花超过 10 万美元。

不过他承认，AI 还没有提出过让他意外的设计想法。他自嘲还能守多久：「大概再守几周吧。」

用 Claude 的垃圾交差？员工因此被绩效审查

第三部分是 Latent Space 的 Sean Wang（SWIX）。他现在管着一支团队，对员工有句狠话：「我不想付钱让别人替我经历大模型精神病。

我可以自己付钱经历自己的。」

他有两三名员工正被绩效审查，原因是交上来的全是 Claude 生成的垃圾——而当事人自己看不出来，还觉得挺好。

他的逻辑很直白：我自己也能去问 Claude，那要你干什么？

他的用人标准也变了：除了安全和后端扩容这类岗位，编程年限不重要，有时经验反而是负担。

现在要能同时管理 5 到 10 个进行中的事项，更像管理者而不是执行者。看数据比看代码值钱。

而且他允许代码里存在垃圾，前提是模块边界必须自己完全理解——他做 Slack 竞品时遇到一个 bug：

同样代码，消息有时加载有时不加载，查出来是两个编程智能体在不同时间各写了一条代码路径，人类从来不会这么干。

中端软件订阅服务的死期到了？

SWIX 搞了个叫 KillMySass 的悬赏：谁能替换掉他公司不愿继续付费订阅的某款活动软件，就能拿到赏金。

背景是他要为这个 SaaS 订阅花 4 万美元——他说，如果把同样多的钱花在 token 上，能买到一大堆 token。

最顽固的反对者是他自己的活动团队——一群用表格办事、和工会打交道的传统专业人士。

一开始坚决不要随手编的代码，看完提交作品的质量后，主动提出换掉旧系统。现在的体验对比更残酷：

给 SaaS 公司提需求，答复是排进第三季度路线图，而且第一季度提的需求才刚上线；

给自己的代码提需求，接了 DevIn 之后一到两小时就改好。他的结论是：「SaaS 相当完蛋了。」

但他不认为软件工程会萎缩。

他的逻辑是把整个市场看作表格和邮件——所有现在靠表格、电话、开会解决的事，都可以被增量地变成定制软件。

软件定制化的终点，可能像手袋和服装一样按品牌和品味来区分。

真正的天花板只有一个：全人类能拿到的 token 带宽，也就是能造出来的硅片总量。

AI 已经攻进不可验证的领域了

节目结尾放了一首歌：Prakash 用 Claude Fable 把几年播客里的名场面剪成了一首曲子。

有意思的是，这不太算生成式音乐——模型是通过 API 操作数字音频工作站，真的在编排多种乐器。

Nathan 的判断是：如果你以为 AI 只在可验证任务（比如数学、代码）上强，这堵墙恐怕也守不住了。

本集带走

• 一位前沿实验室高管明确表示，AI 很可能有不该越过的智能上限，甚至愿意考虑限制预训练算力——这是头一次听到这种表态
• 追赶者们通过买 Claude 生成的训练环境间接蒸馏前沿能力，这是差距没有拉开的隐形原因
• 内存一年涨 4.5 倍，但同等内存能跑的模型价值涨得更快；一家芯片公司的 token 开销已超过全部人力成本
• 老牌 SaaS 的处境危险：4 万美元的年订阅，可以用同样的钱买 token 自己写，改动从排期到 Q3变成两小时
• AI 在音乐这类没有明确对错标准的领域也开始拿得出手，只擅长可验证任务这堵最后的墙正在倒塌

可以说,很可能存在某种智能水平,我们就不应该越过它。
There likely is, let’s say, a level of intelligence that we just shouldn’t go past.
—— 嘉宾 · [00:15]

我看了一下我们一年零一周前拿到的一份内存报价,从那以来它已经涨了四倍半。
I was looking at a quote that we had a year and a week ago for memory, and it’s gone up four and a half times since then.
—— Thomas Somers · [01:02]

你知道,我最近采用的一个说法是,我不想为别人经历 LLM 精神错乱付费。
And you know, the phrase I’ve sort of recently taken to is, I don’t want to pay for someone else to go through LLM psychosis.
—— Sean Wang · [01:23]

缩放定律依然成立,甚至可能正在朝着有利的方向弯曲,因为数据质量在变好。
Scaling laws are holding or maybe even bending because the data quality is getting better.
—— 嘉宾 · [06:04]

而这就是为什么你需要 1 万个智能体去解决一个千禧年大奖难题。
And this is why you need 10,000 agents to do a Millennium Prize problem.
—— 嘉宾 · [07:38]

如今,他们并不是调用 Claude 的 API 获取轨迹再喂进去,而是那个 RL 环境制作者和销售者的作坊式产业,实际上在充当一条蒸馏管道,因为他们所有人所做的都是让 Claude 来创建这些 RL 环境。
These days, it’s not that they’re calling the Claude API and getting traces and feeding them in, but rather the cottage industry of RL environment makers and sellers is in fact functioning as a distillation conduit because what they’re all doing is having Claude create these RL environments.
—— 嘉宾 · [12:24]

所以 Elon 在下注,赌的是基础设施比模型更重要,而且他基本上能够利用他的基础设施布局追上来。
So Elon is making a gamble that the infra matters more than the models and that he will be able to catch up basically using his infra build-out.
—— Prakash Narayanan · [17:30]

所以我想说,NVIDIA GPU 在 transformer 模型的实际解码前向传递中,平均只获得 30% 到 40% 的内存带宽利用率。
So while NVIDIA GPUs, I would say, on average are getting between 30 and 40 percent memory bandwidth utilization in the actual decode forward pass of a transformer model
—— Thomas Somers · [34:12]

因此,用我们的第一代产品,我们能够达到并维持理论内存带宽的 93%。
And so with our first gen product, we were able to hit and sustain 93% of theoretical memory bandwidth.
—— Thomas Somers · [34:52]

所以在 token 支出方面,它很快成为我们最大的非制造类支出项目。
So on the token spend side, it’s become our single largest non-manufacturing line item very quickly.
—— Thomas Somers · [44:34]

我不在乎它是不是只有十分之一的每 token 成本。这就是不值得的花费。
I don’t care if it’s a tenth of the cost per token. It’s just not worth the expense.
—— Thomas Somers · [46:05]

创造软件的成本降低了,因此需求大幅增加,但这是针对一种非常特定的需求——能够高效管理编码智能体、而不是产出一大堆垃圾的人。
The sort of cost of software, creating software has gone down, therefore the demand has increased a lot, but for a very specific kind of demand for people who can manage coding agents productively instead of producing a whole bunch of slop.
—— Sean Wang · [48:55]

智能体消耗数据库的量,差不多是人类开发者的 500 比 1。
Basically agents consume databases, something like at a 500 to 1 ratio of what human developers do.
—— Sean Wang · [50:41]

而现在我们只需要让模块说得通。我可以容忍里面有垃圾内容,因为它能帮我跑得更快,只要我把垃圾控制在我完全理解整个系统的东西里。
Whereas now we just need to make the modules make sense. And I can allow slop in there because it helps me to go faster as long as I contain the slop in things where I completely understand the whole system.
—— Sean Wang · [51:46]

所以 SaaS 已经相当完蛋了。如果你主要是一个 CRUD 应用,我会说还剩很多 UX 问题。
So SaaS is quite cooked. If you are mostly a CRUD app, I would say that there’s a lot of UX issues left.
—— Sean Wang · [57:22]

我认为,软件工程基本上只有在当我们有了软件版的 Kate Spade 对 Louis Vuitton 对 Coach 的时候,才算基本完成。
I think what software engineering is basically only done when we basically have Kate Spade versus Louis Vuitton versus Coach for software.
—— Sean Wang · [59:51]

所有这一切的真正限制,是人类 token 带宽的总和,而这实际上就是我们能生产的硅的数量。
The real limit on all this is the sum total of humanity’s total token bandwidth, which is literally the amount of silicon we can produce.
—— Sean Wang · [60:25]

我一直在反复主张,随着智能变得便宜,变得昂贵的是协调。
I’ve been claiming repeatedly that as intelligence gets cheap, it’s the coordination that gets expensive.
—— 嘉宾 · [63:51]

所以我确实认为 SFT,尤其是结合多个教师的输出,将是未来企业定制其模型的关键部分,我们也在投资这方面的研究。
So I do think SFT, especially combining the output of multiple teachers, will be a key part of how enterprises in the future customize their models, and we’re investing in research on that as well.
—— 嘉宾 · [73:37]