AlphaGo 幕后团队再出发：这次不学人类，让 AI 自己发现一切

关联

人物 David Silver

公司 Ineffable Intelligence · DeepMind · AlphaGo · AlphaGo Zero · AlphaZero

概念 超级学习者 · 超级智能 · 强化学习 · 智能体 · LLM · 人类先验 · 模拟 · 熔炉 · Emergence · 对齐 · 算力 · 缩放定律 · 奖励函数 · GPU · 编码智能体

AlphaGo 击败李世石的那个项目背后，站着两位这次播客的嘉宾：David Silver，他 2009 年的博士论文就是用强化学习下围棋，后来领衔 AlphaGo；

Lasse Espeholt，DeepMind 深度学习团队的早期成员，最早一批把强化学习搬到 GPU 上大规模运行的研究者。

两人如今联合创办了 Ineffable Intelligence，目标是造一个超级学习者，并「与超级智能第一次接触」。

为什么放着 DeepMind 的资源不要，出去创业？

Silver 在 DeepMind 待了很多年，也承认那段经历很好。但他坚信通往超级智能的路不经过基于大语言模型的产品。

世界上已经有成千上万的聪明人在做同一件事：预训练、后训练、编程，沿着大语言模型的路径加倍下注。

「我会是去做这件事的第 100001 个人吗？」他想了想，觉得不如去看那盏没有人在下面找钥匙路灯——从经验中学习的路径。

如果这条路走通了，会改变整个 AI 领域。

公司名字 Ineffable（意为不可言说）也有讲究。

Silver 说，超级智能有一天会发现深刻到人类语言无法表达的知识，所以它不该被人类语言的路径限制住。

他还透露了一个半开玩笑的第二个理由：这条路不可能搞砸，也就是 in-f-able。

超级学习者到底是什么意思？

Silver 给了两个维度。深度上，它应该从一无所知开始，一路发现远超人类已知的知识；

广度上，把它扔进任何一条经验之流——模拟世界、数字世界或物理世界——它都能不断学习。

他的论证很朴素：

人类大脑最初就是一团灰色的糊状物，没人给过我们一张蓝图或一份万亿条数据的数据集，语言、技术、科学、数学全是人类自己一步步发现的。

「这是 AI 领域还没人破解的东西。」

在他看来，今天的大语言模型不算超级学习者：

那些看似自主的科学突破，其实有大量人类在回路里帮忙，而且语言本身可能根本不是承载这类知识的正确载体。

简单目标 + 复杂环境 = 意外的复杂涌现

有人会问：怎么写一个奖励函数，精确描述你想要的科学或有趣的数学？Silver 的答案是：别写。

给智能体一个简单直接的目标，但把它放进足够复杂的环境里。

他举自然界的例子：进化只优化适者生存这一个简单信号，却产生了生命的全部复杂性。

人类也是先为了协调而沟通，为沟通而交易，为交易而发明算术，为理解工具而发展科学——一路都是追逐简单目标，复杂知识却不断涌现。

围棋也是个好例子。Espeholt 指出，围棋只是个 19×19 的棋盘，规则极简单；如果这是单人游戏，往格子上摆棋子摆满为止，毫无策略可言。

但放进第二个智能体，复杂性瞬间爆炸，学习曲线几乎看不到尽头。他们造的熔炉（crucibles）环境就是这个思路的放大版：

有物理引擎驱动数百万物体交互的世界，也有数百万智能体互相作用的世界，复杂度远超 Atari 57 这类老基准。

AlphaGo 的教训：扔掉人类数据，几个小时顶两年

AlphaGo 花了大约两年才击败李世石，期间大量使用人类棋谱、人类在回路里反复调校。

而 AlphaGo Zero 完全放弃人类数据、纯靠自我对弈—— Silver 说，算法一旦做对，几个小时就超过了那两年的成果：

国际象棋 4 小时击败史上最强 AI，围棋也只用了一两天。

所以放弃人类数据是一次主动的、务实的下注：短期内牺牲一些性能，换来的是发现全新知识领域的能力。

他不排斥一切先验——弱一些的、与具体环境无关的先验没问题，要避免的是那种把某个特定问题的全部知识都编码进去的强先验。

至于 AI 会不会重新发现语言？

Silver 认为觉得人类语言是推理的终点有点天真，而且从人类语言出发会把我们的偏见一起带进去——如果只用两千年前的人类语言训练，智能体可能还会相信世界是平的、疾病源于四体液。

时机到了吗？Silver 自称预测很准

Silver 说他喜欢做五五开的研究，对 Ineffable 他显然信心更高。

他提到自己曾提前 10 年预测计算机围棋何时被攻克，精确到年份，对 StarCraft 和 AlphaProof 攻克国际数学奥林匹克的时间也预测对了。

他认为现在是做这件事的正确时机：编码智能体加速研究、对规模效应的理解、技术栈的成熟都到位了。

算力也是巨大驱动力——他们拿到了很大的集群，可以跑比 OpenAI 当年 hide-and-seek 实验多用十万倍算力的实验。团队只有 20 人，人均算力极高。

在模拟里造超级智能，更快也更安全

Rich Sutton 曾在节目里看衰模拟。两位嘉宾不同意。

Espeholt 举了自己在 Google Brain 做的 MetNet 天气模型：机器学习模型比基于物理的模拟还准，因为物理模拟会随时间累积误差。

Silver 的论证更根本：只要模拟环境是图灵完备的，一切计算都可在其中表达；

有交易媒介就有经济学，有多个智能体和通信渠道就有语言，数学在任何宇宙中都可表达。

即使有些东西（比如量子计算）只能存在于真实世界，如果在模拟中能造出超级智能，那会比在真实世界快 10 到 100 倍，而且是最安全的地方。

对齐问题也一样：

在模拟里先搞清楚「超级智能社会如何和平共处、如何与较弱的智能和平共处」，把这门超级智能的科学跑在现实前面。

他们承诺：在真实世界推进的每一步，都要以模拟中足够的证据为前提。

现实世界要控制节奏，模拟世界要全速前进——他对 Demis 等人提出的节奏控制方向表示支持。

监控不依赖语言的智能体也有办法：比如影子动作，看智能体想做什么但不让它真的做；

或者用一个超级智能去监控另一个超级智能的举动规模。

三年内见到超级智能？

主持人问预测。Silver 说，一年内会有很强的证据表明方向正确；

至于真正的超级智能——能自主发现远超人类的科学、数学、技术的系统——他原本想的是 3 到 5 年，现在因为编码智能体加速了研究，改口说 3 年。

系好安全带。

【背景】AlphaGo 是 DeepMind 开发的围棋 AI，2016 年击败世界冠军李世石；其后续版本 AlphaGo Zero 不用人类棋谱、仅靠自我对弈学习。AlphaStar 是同一团队开发的星际争霸 AI，团队多位成员后来成为 Ineffable 的联合创始人。

本集带走

• Ineffable 押注一条与大语言模型完全不同的路：不用人类数据，让智能体在复杂环境中追逐简单目标，靠自己发现知识。
• AlphaGo 的经验是关键证据：放弃人类棋谱后，AlphaGo Zero 用几小时到几天就超过了之前两年的人类在回路成果。
• 熔炉环境靠涌现产生复杂性：物理引擎、多智能体交互，简单规则可以生出无穷的学习空间。
• 模拟里造超级智能更快也更安全：图灵完备的环境足以表达计算、经济、语言和数学，还能提前研究对齐问题。
• Silver 的预测：一年内看到方向正确的强证据，三年内可能实现真正的超级智能。

通过强化学习来变得越来越好，而这将导致智能的涌现，并最终达到超级智能。
Learning through reinforcement learning to get better and better and better and that that would be the thing which would lead to the emergence of intelligence and ultimately super intelligence.
—— David Silver · [02:20]

而我所相信的这条路径，实际上并不以基于 LLM 的产品作为中间站。
And the path that I believe in doesn’t actually go through LLM-based products as an intermediate point.
—— David Silver · [04:22]

最终，我意识到还有另一根路灯柱，现在没有人往它下面看，而如果我真正把我的努力放在那里，就有大得多的机会真正对这个领域产生巨大的影响。
And in the end, I realized that there’s this other lamppost that right now no one is looking under and where if I actually put my effort there, there’s a much higher chance of really having a massive impact on the field.
—— David Silver · [05:29]

而且很有可能，LLM 中使用的所有这些人类数据，正在拖累一切。
And it might just be that all of this human data that’s been used in LLMs is kind of weighing things down.
—— David Silver · [13:42]

对一个非常简单、易于描述的量的追求和优化，往往会催生极其难以描述的复杂性和涌现。
An optimization of a very simple, easy to describe quantities can often give rise to incredibly hard to describe complexity and emergence.
—— David Silver · [18:19]

我是说，我个人的看法是，任何认为人类语言是终点或最佳推理方式的人，那种观点都有点天真。
I mean, my personal belief is that anyone who thinks that human language is the end point or the best way to reason, that perspective is a little naive.
—— David Silver · [25:50]

我还要说，以人类语言作为推理的起点有点成问题，因为它会带入我们所有关于我们认为智能体应该如何思考的偏见。
I would also say that starting from human language as like the approach for reasoning is somewhat problematic because it pulls in all of our biases about how we think agents should think.
—— David Silver · [26:30]

所以我们正在下一个赌注，我们下的赌注是，通过放弃如今每个人都依赖的先验，比如人类数据，比如其他所有人构建其系统所依托的整个互联网知识，我们可以走得更远。
So we are making a bet, and the bet we’re making is that we can go further by giving up on the priors that everyone’s relying on today, like the human data, like the whole internet of knowledge that everyone else is building their systems upon.
—— David Silver · [28:36]

花了几个小时就超越了我们在有人参与的情况下做了两年的工作。
It took a few hours to outperform the two years of work which we’d done with human in the loop.
—— David Silver · [31:02]

关键在于，如果有可能在模拟中一路走到超级智能，那它会更快发生，也会更安全地发生。
The real point is that if it’s possible to get all the way to a superintelligence in simulation, it will happen faster and it will happen safer.
—— David Silver · [42:51]

它们会开始学会说一套、做的却是另一套。
They’re gonna start to learn to say one thing and act in a different way.
—— David Silver · [45:10]

实际上，我非常支持这样一种观点：现实世界中 AI 前沿所发生的事情应该被控制节奏。
I’m actually very much supportive of the idea that there should be pacing of what happens for the frontier of AI in the real world.
—— David Silver · [51:07]