跨国深谈← 返回←给 AI 装上「自我怀疑」：剑桥教授 30 年的不确定性智能之路

给 AI 装上「自我怀疑」：剑桥教授 30 年的不确定性智能之路

关联

人物 Zubin Gharemani

公司 Google DeepMind

概念 不确定性 · 贝叶斯规则 · 大语言模型 · 语义熵 · GenCast · AlphaFold

这一集聊的是一个看似抽象、却直接关系到自动驾驶和医疗 AI 能不能落地的问题：机器能不能知道自己「不知道」。主角是 Zubin Gharemani，剑桥大学教授、Google DeepMind 的 Frontier AI 联合负责人，过去 30 年一直致力于把「不确定性」做成数学、装进智能系统里。他最核心的主张很反直觉：往 AI 里加入不确定性，不是让它变弱，而是让它更准、更可信——他参与开发的天气预报模型正是靠「承认不确定」才成为业内最先进的。

为什么智能离不开不确定性

他的推理链从决策出发：智能系统必须做决策，而在现实世界里做决策，感知永远是有限的——我们无法从感官知道一切，也无法预测未来。所以从根本上说，一个智能系统必须能做三件事：表示不确定性、更新不确定性、并据此在不确定中做出好决策。

他把不确定性分成两类。一类是世界的内在随机性（术语上叫「偶然不确定性」，aleatoric uncertainty）：街上那个行人下一秒往哪边转，本质像掷硬币，你可能干脆放弃预测；另一类是「没见过的场景」带来的不确定：比如自动驾驶汽车没在冰雹天气、更没在「马在冰雹中突然跳到车前」的场景下训练过。

这时一个合格的不确定性感会让它意识到情况反常，主动减速。好消息是，所有这些不同形式的不确定性，数学上都可以归结为概率，再用概率论的规则去处理和更新。

【背景】Zubin Gharemani 一般译作 Zoubin Ghahramani，是贝叶斯机器学习领域的代表学者；本集为语音识别转写稿，人名拼写可能有出入。

人类自己也不擅长概率——但感知系统很擅长

他本科同时学了计算机科学和认知科学，所以很自然地把这套框架拿去看人。认知科学界确实已用概率推理的语言给人类的感知和决策建模：你在哥斯达黎加徒步，树叶沙沙作响，你的感官会把眼前的感知信息与先验信念（哥斯达黎加有美洲豹，伦敦市中心没有）结合起来做推断。有趣的是，Kahneman 和 Tversky 的研究表明，人类在意识层面上非常不擅长估计概率，问一个明确概率可能错好几个数量级；但在无意识的感知系统里，我们其实处理得相当好，因为生存就依赖它。

光有正确性不够：校车变猎豹

他强调「正确性」和「置信度」是两回事，只考核前者会出大问题。十多年前人们就发现：把一张校车图片在人类完全察觉不到的程度上改动几个像素，神经网络会以 99% 的置信度说那是猎豹——而且任何类别都能这样伪造。

这种「对抗样本」说明：我们不想要过度自信地出错的系统。放到今天的大语言模型上问题依旧：无论你用哪个模型，它都会自信地给你答案；你一质疑，它立刻改口换一个。很难信任这样的系统，就像很难信任过度自信的人。

贝叶斯规则：一行公式讲清「学习是什么」

他随后用侦探故事把贝叶斯规则讲得非常直白：案发前你对每个嫌疑人有先验信念（用概率分布表示）；凶器在食品储藏室被发现这条新证据到来，你把先验乘以每个嫌疑人的似然，归一化，得到后验——新的知识状态。这个过程中你获得的信息，字面上就以「比特」计量（一比特就是把不确定性减半）；再来新证据，就把当前后验当新先验，重复更新。

感知是这么回事，学习也是：模型有参数，起初不知道参数该是什么，靠数据一点点用贝叶斯规则更新。他对 AI 的期望很明确：就像计算器应该比人更会大数乘法，AI 也应该比人类更理性、更善于处理概率，而不是像现在这样在无证据时摇摆不定。

大语言模型为什么做不到

他的判断是：现在的模型「在装样子」。大语言模型本质上是在预测下一个 token 的概率，训练数据里全是不同人的不同推理和信念，得到的是一锅大杂烩汤，模仿了各种推理轨迹，但并没有显式地表示自己对某个陈述的置信度——你问它「你有多确定」，它吐出的只是下一个 token，不是在计算贝叶斯规则。你在巨型神经网络里找不到「它认为某事为真的概率」的显式表示，它是弥散在数十亿个单元的激活里的。

有一个补丁式思路：模型在生成每个 token 前内部本就有一个对全部候选 token 的概率分布，这个分布的熵（entropy，衡量分布有多「散」）就能透露不确定程度——低熵尖峰状就是很确定（问「埃菲尔铁塔在哪」，巴黎是尖峰，拉斯维加斯只占一点边角），高熵摊平就是不确定。但他指出这仍是「靠数据装出来的置信」：就像只靠展示例题造计算器，没见过的数字就不会算了——你要的是真的会算的计算器。

模型训练范式没有把「表示不确定性」当作优先目标，这才是根因。为什么没做？

因为在计算上太难：对一切可能事物显式维护概率分布是不可行的，可能要等数百万年才能得到答案，所以整个领域转向了「直接从数据训练」。他的态度是：也许 15 到 20 年前我们就已集齐了理性 AI 的所有要素，只是算力不够；如今算力今非昔比——他本科时用的那台 65,000 处理器的 Connection Machine 并行超算，比他口袋里的 Pixel 手机还慢——所以他正在重新探索这条路。

已经做对的两个例子：天气预报与 AlphaFold

GenCast 是 Google DeepMind 的天气预报模型，可预报 15 天内的天气，八分钟就能出结果（传统超算要跑数小时）。它的关键在于：用扩散模型（类似图像生成模型，本身就在操纵概率分布）生成一整组预报集合，对热带风暴的可能轨迹给出完整概率分布——模型反复重跑，几小时后新观测到来就更新集合。

这本质就是把贝叶斯更新用在预报上。主持人点出其中反直觉之处：往系统里加入不确定性，预测反而更准。AlphaFold 是另一个正面案例：蛋白质预测按置信度做颜色编码——从序列到折叠结构本身物理上就有摆动不定的地方，模型预测又不同于实验数据，所以必须用一个「预测云」来表示不确定。

多诚实才算够：校准是关键

主持人问：会不会矫枉过正，得到一个永远只会说「我不知道」的模型？他的答案是「校准」（calibrated）：对可重复事件，你说降雨概率 70%，那么在所有说过这话的日子里，应当真的有 70% 下雨——这就是校准好的概率。

而对只发生一次的事件（比如某个首次出现的日期），贝叶斯统计告诉我们，用概率表示对它的不确定程度不仅合法，而且是正确做法。传达层面，他提到剑桥同事 David Spiegelhalter 在如何优雅地向公众呈现不确定性上做了很多工作——关键是把不确定性以可见的形式交到用户手上，让人不会对过度自信的 AI 系统形成过度依赖。

他押注的几个未来方向

面对「只要堆更多数据和算力就不必管不确定性」的反对派，他承认对方不全错——模型在常见任务上确实相当好——但一拉到长尾的不寻常场景就会暴露缺口；而一旦决策事关重大（自动驾驶、医疗诊断），概率就必须弄对。他认为还需要突破的领域包括：

• 持续学习：现在的模式是训练一个巨型模型、发布、几个月后再训一个；而人类和动物是在连续的数据流中不断调整的。现有系统受困于「灾难性遗忘」——学新忘旧。理论上，严格的贝叶斯更新天然支持持续学习、不会灾难性遗忘，现有许多持续学习尝试其实都是对它的近似。
• 能效：人脑功耗约 20 瓦，一个灯泡；在大型数据中心训练大语言模型，功耗差了好几个数量级。
• 新架构：现代 AI 的两个主力是 Transformer 和扩散模型，但可能存在软硬件协同演化的新路，比如基于非常稀疏的神经网络的新型硬件。
• 数据效率：与人类和动物的学习相比，我们的学习系统在数据利用上极其低效，贝叶斯思想同样可以帮忙。

主持人打趣说这像「一行贝叶斯公式写就的魔法技巧」——嵌入谦逊、支持持续学习、数据又高效。他笑答：早知道这个魔法，但它带着巨大的诅咒，就是计算上非常慢，教科书里写着这些是计算难题，只能近似。主持人反将一军：80 年代人们也是这么议论神经网络的——他不会再犯第二次低估算力的错误。

最后他回到那个更根本的立场上：谦逊、诚实、怀疑不只是「人类品质」，更是智能系统的基本品质。我们不该以人类为上限——人类自己在现实世界的不确定下做理性决策其实相当差。

他主张构建以人为中心的 AI：从人类和社会的最大问题倒推需要什么系统。收在他全集最有力的一句判断上：对所有真正重要的问题，他宁愿要一个知道自己不知道的 AI，也不要一个傲慢而过度自信的 AI。

本集带走

• 不确定性是智能的地基，不是缺陷：智能系统必须表示、更新不确定性，并在不确定下做决策；对没见过的场景（长尾）尤其如此。
• 正确性和置信度要分开考核：对抗样本（校车改几个像素被认成猎豹）证明，只考正确性的系统会过度自信地犯错。
• 贝叶斯规则一句话版：先验信念 × 新证据的似然 → 归一化 → 后验；后验变新先验，循环更新。感知、学习、持续学习理论上都能用它建模。
• 现在的大语言模型在「装」置信度：问它多确定，它只是预测下一个 token，没有对信念的显式概率表示——因为训练范式从未优先这一点。
• 熵可以当不确定性的探针：模型内部对下一 token 的分布，低熵尖峰=确定，高熵摊平=不确定（语义熵思路）。
• 成功范式：GenCast 用预报集合+贝叶斯更新做 15 天天气预报（八分钟出结果）；AlphaFold 用颜色编码每处折叠的置信度。
• 「校准」的定义：说 70% 下雨的日子中，真的有 70% 下雨，才算校准好；对只发生一次的事件，用概率表示不确定同样合法。
• 算力曾否决过这条路，但值得重访：显式贝叶斯计算曾被判为不可行，而他当年的超算已不如今天的 Pixel 手机——不能再用「太慢」一票否决新想法。

我想要我的 AI，就像我想要我的计算器非常擅长大数乘法一样，我实际上希望我们的 AI 系统比人类更理性、更善于表示和处理概率。
I want my AI, just like I want my calculator to be really good at multiplying large numbers, I would actually like our AI systems to be, you know, more rational, better at representing and manipulating probabilities than humans are.
—— Zubin Gharemani · [19:26]

它们挣扎是因为训练它们的范式没有优先考虑这一点。
They struggle because the paradigm for training them hasn’t prioritized that.
—— Zubin Gharemani · [21:10]

你知道，我本科时使用的那台巨大的最先进的超级计算机、并行连接机器计算机，实际上比我口袋里的 Pixel 手机还要慢。
You know, the giant state-of-the-art supercomputer, parallel connection machine computer that I used in my undergraduate years is actually slower than the Pixel phone that I have in my pocket.
—— Zubin Gharemani · [41:43]

而且对于我认为所有重要的问题，我宁愿拥有一个知道自己不知道的 AI 系统，也不愿拥有一个傲慢和过度自信的 AI 系统。
And for, I think, all problems that matter, I would rather have an AI system that knows when it doesn’t know than an AI system that is arrogant and overconfident.
—— Zubin Gharemani · [43:41]