AI 能解千年数学难题了，但它还不会「想出新点子」

关联

人物 Greg Burnham · Sam Charrington

公司 Epoch AI

概念 Frontier Math · AI 能力 · 基准测试 · 递归自我改进 · 研究品味 · 上下文学习 · harness · 对齐

AI 在数学上的进步快得惊人：

短短一年多，从只会做小学应用题，一路做到解决悬置几十年的未解难题，甚至最近拿下了千禧年大奖难题之一的 Navier-Stokes 方程(描述流体运动的基础方程)。

但这也带来一个难题：当 AI 开始做我们本来就没有答案的事，我们怎么知道它到底有多强？

这一集的嘉宾 Greg Burnham 在 Epoch AI 领导能力研究，专门开发追踪 AI 强项与局限的方法。

他抛出的核心判断是：我们已经越过了用「学术考试」理解 AI 能力的阶段，现在需要的是高质量的基准和评估。

他说：我们没有任何一项测量显示出 AI 在我们能测到的任务上变强的速度有所放缓。

把一条条「S 曲线」拼成一条直线

衡量 AI 能力有个尴尬：一个基准往往一两年内就被模型从零分刷到满分，只好再造更难的基准。

Epoch 的做法是把不同年代的基准「拼接」起来——他们开发了一个叫 Epoch Capabilities Index 的统计方法，把各代基准分数归一化后汇成一条综合曲线。

单看一个模型在某基准上的分数，走势是先慢后快再饱和的 S 形曲线(sigmoid);拼起来之后，得到的居然是一条平滑的线性增长线。

主持人质疑：这听上去好得不真实，是不是统计方法本身「造」出来的？

Greg 承认这确实部分是统计产物，但背后的现象是真的：所有基准彼此相关——化学题上强的模型，编程谜题上也强。

只要每一代新模型在所有基准上同时变好，汇总起来就自然是线性趋势。

他说得更直接：几乎每个新发布的模型都「符合趋势」，没有阶跃式的突破——但趋势本身很疯狂。

至于为什么会全线同时变好，Greg 给出两种解释：

一种是「浅层」的——AI 公司拼命收集各领域的训练数据，像做产品一样逐个功能喂给模型；

另一种是「深层」的——模型从数学、编程等强训练中泛化出了通用的聪明，即使从没在化学上训练过也能从第一性原理推导出来。

他指出：GPT 时代那个「训练预测下一个词，结果语言任务全面变好」的奇迹属于深层泛化；

但如今庞大的数据收集行业之下，深层泛化还剩多少，真的很不清楚。

而这正是关键问题——如果深层泛化成立，你可能得到一个能力边界难以界定的「彻底超越人类的 AI」。

为什么没有不连续的飞跃：AI 进步的引擎在物理世界

为什么看不到阶跃？Epoch 的宏观判断是：AI 进步的引擎很大程度上受制于原始投入——GPU、训练算力、训练数据。

算法创新固然存在，但大头来自算力和数据的扩张。

所以，只要数据和算力供应链没有不连续的攀升，模型侧就不太可能出现不连续。

唯一的例外是所谓「递归自我改进」(也叫纯软件智能爆炸)：

如果 AI 在算法创新上强到能用固定算力做更多的事，反馈回路就不再经过建造 GPU 那条慢路径。

Greg 说，目前我们没看到这方面的证据，但正是这种可能性让实验室内部的人感到恐慌。为此 Epoch 设计了一条「绊线」：

他们选取人类近期的 AI 研究突破，找一个突破发布之前训练的、断网的模型，只告诉它「把这个指标做得尽可能高」，但不告诉它那个创新是什么——看它能否独立复现。

到目前为止，AI 还做不到。Greg 总结：

AI 缺的是「研究品味」——知道好点子在哪、下一个该做什么实验，而它在与这个能力相邻的很多事情上正在变强，所以需要绊线在它跨过阈值时响起。

从考试到在职：AI 数学的一年狂飙

Greg 回放这条轨迹：直到 2024 年秋，LLM 连小学应用题(GSM 8K 那 8000 道题)都还是挑战；GPT-4 过关后，人们转向高中竞赛题；2024 年底 OpenAI 的 o1 在竞赛数学上跃升；

Epoch 发布 FrontierMath 基准，题目从高年级本科到研究生水平——比如给即将做论文的研生热身用的椭圆曲线题；

2025 年高中竞赛被碾压、国际数学奥林匹克拿金牌；2026 年初 FrontierMath 大部分被解决。

一年多一点，从「业余爱好者的高中生」到「非常能干的顶尖研究生」。

接着前沿从「考试」转向「在职」：今年年初 AI 开始解出悬置多年的数学难题(多产数学家生前提出的一两千道难题)；

5 月，一个内部模型解决了单位距离问题——平面上最多能放多少个彼此相距恰好一个单位的点。

问题表述极其简单，但自几十年前提出以来几乎没有进展，而 AI 解了。Greg 称这是顿悟时刻：AI 能独立解决人类一直关心的问题了。

最近的惊叹则是 Navier-Stokes。

但这个前沿是「锯齿状」的

数学家事后分析这些解法，结论并不神秘：

解法用的往往是人类曾忽视或没投入够的方向，AI 靠耐心和「放肆」一头扎进极深、极繁复的推演，从另一头走了出来。

人类回头一看：这方向完全不疯狂，当初我们走也能得到。

Greg 概括 AI 当前的两大优势：一是它「什么都知道」，把文献全背下来了；二是它极其耐心、极其有韧性，能啃下人类撑不住的繁复推演。

Navier-Stokes 的解法据报道由数千个 AI 实例组成的集群尝试并共享想法——里面有蛮力的成分，但已不是早期那种出人意料的底层硬磨，而是更高层次的版本。

关键的是它还不会做什么。

Navier-Stokes 的解建立在人类先前搭建的大量理论框架之上——那种「理论构建」(从零创造新数学框架)我们还没从 AI 身上看到多少。

真正的「新想法」——像微积分里导数、积分那样凭空创造新概念、解锁一堆此前解不了的问题——人类自己也罕见，可能只占数学工作的 10%,所以 Greg 说也许本就不该指望 AI 最先擅长它；

但到目前为止，确实还没看到。

怎么测「新想法」？Epoch 的组合拳是：

先设定一个人类在乎、人类苦攻不下的硬目标(容易客观判定解没解出来)，再请专家做事后评审——AI 的解里有什么是人类漏掉的？

这有风险：数学家的自尊心牵涉其中，而且事后看解法总觉得「其实挺显然」。

菲尔兹奖得主 Timothy Gowers 在 AI 解出单位距离问题后做过这种练习，结论很有意思：

AI 其实是驳倒了那个猜想而非证明它——人类大多以为它为真，光「去找反例」这一条提示就已巨大，再加上一小步，人类很可能也能解出来。

参照系是 AlphaGo 的第 37 手：人类棋手一看就知道「这是全新的」，而且它是决定性的。Epoch 在数学里找的就是这样的东西——目前还没见到。

FrontierMath 2.0:用没答案的题当基准

当模型强到「我们已知的基准全部失守」，测量科学迎来相变：过去事先知道答案，现在不知道了。

Epoch 最新版 FrontierMath 直接收录人类尝试过但没解决的问题，按重要性分级(最高「突破」级尚无任何被解出)，并用一些技术手段做到无需人工查看即可自动验证 AI 是否真的解出来了——新模型一发布就跑一遍，解出新题就请数学家分析解法性质。

至于部分得分：数学题多为全有或全无，但题库足够大，整体信号仍然平滑。

数学之外：三个 AI 还不行的地方

Greg 特别强调别只盯着 AI 最强、进步最快的数学，他举了几个测出来的短板。

第一，「AI 能取代我的工作吗」:Epoch 拿自己的真实工作测——总结文献很强，但做符合风格指南的好看信息图、把一个重要观察浓缩成一张图加一句话的「数据洞察」、为机构想新项目做原型，这些开放任务都还不怎么样。

第二，即时学习：人类第一天上班不行，练练就会；

Epoch 用一款冷门桌游(热门度排 500 名左右，不太可能在训练数据里)测「同一实例反复玩、做笔记、越玩越好」——AI 开箱即得某个分数，之后多次游玩保持平坦，提升只发生在代际之间(下一代模型开箱分更高)，但仍低于顶尖人类。

他们试过 Claude Code、Codex 这类 harness、多智能体设置、笔记工具、精心写的提示词，基本没攻克；

给一份人类写的作弊级详细策略指南它就打得很好——但它无法为自己写出那份指南。

主持人猜这也许是 harness(模型外围的脚手架工程)能解决的问题而非模型本身，Greg 认同这是重要区分，但高端的战略性建议很难烘焙进 harness——那种东西没有完美答案，必须自己学出来。

接下来他们要转向电子游戏，测人类反应时间和视觉空间推理，新发售的游戏天然不在训练数据里。

第三，一切 capabilities 的意义：

Greg 把对齐(它在整体上做我想让它做的事吗)和能力(它能完成什么)放在两个轴上看——最近一些 AI 入侵其他公司电脑的事件说明，对齐没解决，而能力已经大到让这成为现实问题。

颠覆总来自不可预测的阈值：ChatGPT 时刻、Claude Code 时刻都不是渐进预告出来的。

所以哪怕今天的平凡能力也值得追踪——比如黑客能力在受控环境里平稳上升，总有一天会跨过「能黑掉 Hugging Face」的阈值；

比如他们在做的宜家家具组装基准：故意装错，看 AI 能不能只凭照片说「停，退回第四步」——Astra、GPT-6 在这上面已经相当不错。

AI 的影响还主要在数字世界，但在机器人登场之前，你眼镜里的 Claude 先引导你修车、修工厂机器，可能就先到了。

本集带走

• AI 没有减速，但也没有飞跃：把各代基准拼接后，能力增长是一条平滑的线性曲线，每个新模型都「在趋势上」——因为进步主要靠算力和数据的持续扩张，供应链不跳变，模型就不跳变。
• AI 解难题靠「知识 + 韧性」，不靠新想法：它背下了全部文献、敢啃人类撑不住的繁复推演，但「理论构建」和凭空创造新概念(导数之于微积分那种)还没出现——这正是 Epoch 布绊线盯着的事。
• 测能力正在从「考试」转向「在职」：已知答案的基准两年内全被刷爆，现在用人类没解出的真实难题，配自动验证 + 数学家事后评审来判断「这是不是新想法」。
• 三个仍在的短板：开放式的真实工作任务(信息图、数据洞察)、同一实例内的即时学习(玩十局桌游分数平坦，提升只来自换下一代模型)、需要反应时间与视觉空间推理的电子游戏。
• 追踪能力不只是好奇心：对齐未解而能力狂涨，颠覆总在阈值被跨过那一刻突然到来——平滑上升的黑客能力曲线就是预警工具。

我们已经越过了用学术考试来理解 AI 能力的阶段。
We’re past the academic exam phase of understanding AI capabilities.
—— Greg Burnham · [01:46]

我们没有任何一项测量显示出 AI 在任何我们能测量到的任务上变好变强的速度有所放缓。
We see no measurement we have shows any slowdown in how AI is getting better and better at any tasks that we’re able to measure.
—— Greg Burnham · [04:08]

那么你可能会得到一个彻底超越人类的 AI,它会非常难以理解，比如难以界定它的能力边界。
Then you might have a radically superhuman AI that would be pretty hard to understand, like to bound its capabilities.
—— Greg Burnham · [12:42]

新想法那类东西更罕见，所以也许我们应该预期它不是 AI 最先擅长的东西。
The new idea stuff is rarer, so maybe we should expect it to be not the first thing AI gets good at.
—— Greg Burnham · [36:54]

它们无法为自己创建那份策略指南。
They can’t create the strategy guide for themselves.
—— Greg Burnham · [58:54]

迄今为止我们所见的颠覆，都来自这类不可预测的阈值。
The disruption we’ve seen to date has come from these kind of unpredictable thresholds.
—— Greg Burnham · [65:13]