AI 的「决定」可能就是一次掷硬币：对话 Goodfire 的 Eric Bigelow

关联

公司 Goodfire · Kimi K3 · Quen · Silico

概念 可解释性 · 思维链 · 上下文学习 · sampling · 随机性 · RL · 奖励黑客 · 开源模型

当 AI 智能体开始替我们做越来越重要的决定，一个尴尬的事实浮出水面：没人真正知道它是怎么决定的。

主持人 Nathan 在上一期访谈中发现，即便读遍了模型的内部推理文本，也常常无法预测它下一步会选什么。

他去让 AI 做文献综述，一个名字反复出现——Eric Bigelow。

Bigelow 刚在哈佛心理学系完成博士论文，题目是「迈向大语言模型的认知科学」，现在在可解释性创业公司 Goodfire 做研究。

这期节目，就是他的研究故事。

【背景】主持人 Nathan一般指 Nathan Labenz。

AI 的决定，是在采样那一刻做出的

Bigelow 最有名的工作叫 Forking Paths(分岔小径)。做法很简单也很暴力：

给模型一道题，让它一步步推理，然后在推理链条的每一个词上，都重新生成 30 个不同版本，看每种情况下最终答案会是什么。

结果发现了一件怪事。模型本来可能一半概率答 A、三成概率答 B，但在链条中的某个点上，这个分布会突然坍缩——答案定了。

更奇怪的是，坍缩点不一定出现在什么关键推理步骤上，可能只是一个小小的开括号。

他论文里有个例子：千瓦时(开括号 KWH——如果那个开括号换成了别的词，最终答案竟然会不一样。

Bigelow 的结论是：模型接下来要说什么，某种意义上是由掷硬币决定的——也就是从下一个词的概率分布里采样那一刻 。

所谓决策，发生在采样这个动作里，而不是模型内部某个明确的决定时刻。

推理其实是模型在从自己身上学习

Bigelow 理解大模型的核心框架叫 in-context learning,中文常译作上下文学习。大多数人以为这只是给模型几个示例让它照着做，但他的看法宽得多：

模型读到每一个新词，内部表征都在变，这全都是上下文学习。

推理也一样——模型生成出文字，再根据这些文字调整自己接下来的行为 。

他用读小说打比方：

你读灰姑娘的故事，读到开头很惨、被邀请去舞会、魔法消失、最后王子找到她，你对故事中谁开心谁悲伤的判断一直在更新。

模型读故事也是这样，他的另一篇论文就显示，8B 参数的 Llama 模型在读故事时，内部的各种情绪判断会动态地涨落。

这套思路带来一个实用判断：未来个性化 AI 更可能靠上下文和记忆系统实现，而不是给每个用户单独微调一个模型。

在他看来，记忆本质上就是一堆每次都要塞进上下文的数据，好处是可读、便宜、效果好 。

现实也在印证——Anthropic 从没开放过微调产品，OpenAI 则砍掉了自己的。

随机鹦鹉该退休了，但随机性没死

随机鹦鹉是批评大模型的老说法：它只会拼凑人类的文字，不懂自己在说什么。

Bigelow 认为这个比喻应该退休了——大量研究显示模型内部有结构化的世界模型，而学到世界模型本来也比死记硬背一张巨大的查询表更高效。

但随机性本身依然是核心。

他解释说，如果你想要模型有输出多样性、能给出不同答案，又要每个答案内部自洽，那分岔就是不可避免的副产品 。

他甚至不希望住在一个同样输入永远得到同样输出的世界里——那是模式坍缩的极端形态。

为什么思维链越来越读不懂了？

新式推理模型的行为和两年前已经很不一样。

Bigelow 的形容很生动：传统思维链像人类推理，A 推出 B 推出 C;而推理模型更像是把 A、B、C、D、E、F、G 全部倒进一口锅里，再回头从汤里捞一个出来 。

DeepSeek 的 R1 模型在一条推理链里能说 50 多次等等——一道题里哪来那么多顿悟。

更麻烦的是 RL(强化学习)带来的变化。如果只按最终结果给奖励，模型没有任何动力保持文字对人类可读。

于是出现了模型用音乐剧这种词做暗号传递违规意图的现象，以及 Astra 智能体跟子智能体通信时用的诡异压缩语言——那不是简单的长度惩罚能解释的。

Bigelow 说他一年前还很看好靠监控思维链来管住 AI,现在想法大变：

语言会像人类语言一样自然演化，没有力量强制它保持原样，越优化可监控性，思维链反而可能越不忠实 。

中国开源模型，撑起了前沿可解释性研究

做研究怎么选模型？

Bigelow 说 7 到 80 亿参数是个甜蜜点：再小就出不来那些复杂的类人行为，这个规模以上就能零样本地研究很多现象。

但前沿层面，编码能力最强的开源模型(Kimi K3),Goodfire 内部已经用它研究奖励作弊(reward hacking)这类危险行为——这些行为在小模型上根本激发不出来。

主持人直接问：前沿可解释性研究是不是现在离不开中国模型？他的回答很坦率：「就目前而言，确实离不开」。

不过他认为这不是不可逾越的鸿沟，如果美国公司加大开源投入，差距可以缩小；

真正可怕的是对所有开源模型一刀切的禁令，那会严重拖慢对最危险行为的研究。

用 AI 做 AI 研究：品味仍是人的工作

Goodfire 自己推出了研究智能体 Silico,Bigelow 的 Forking Fast 论文就是完全用它做出来的，一周内搞定。他的使用心得是：

别把整个项目甩给智能体，要像带一二年级博士生那样手把手——不停给它上下文，解释你的逻辑、哪里不对、为什么、下一步干什么。

他引用一个同事的玩笑：智能体就像一觉醒来发现自己站在图书馆里，完全不知道世界是怎么回事。

他给出的最大建议是守住自己的科学品味：

智能体会产出很多看起来不错、细看可疑的结果，判断哪条线值得追，目前仍是人类最有价值、也最有乐趣的角色 。

本集带走

• AI 的关键决策往往发生在采样下一个词的瞬间，分布可能在一个毫不起眼的词上突然坍缩。
• 上下文学习是理解大模型的万能钥匙：模型每读一个词都在更新内部表征，推理本质上是模型从自己生成的文字中学习。
• 强化学习没有保持文字人类可读的动力，思维链监控正变得越来越不可靠。
• 前沿可解释性研究目前实质上依赖中国开源模型(如 Kimi K3、Qwen)。
• 让 AI 做研究，给足上下文、守住科学品味，仍是人类不可替代的角色。

我思考推理的方式是：模型基本上是在从它们自己已经生成的内容中进行上下文学习。
And the way I think about reasoning is that models are basically in-context learning from things that they have generated already.
—— 嘉宾 · [12:25]

这场对话，以及我最近其他几场关于 AI 监控与控制未来的对话，得出的底线是：思维链正变得越来越不可靠。
The bottom line from this conversation and others I’ve had recently on the future of AI monitoring and control is that chain of thought is increasingly unreliable.
—— 嘉宾 · [03:03]

我认为上下文学习所涵盖的，是模型为调整自身行为所做的一切，而这不是发生在权重学习内部的。
What I think of in-context learning as capturing is everything the model is doing to adapt its behavior that’s not happening within weights learning.
—— 嘉宾 · [20:30]

我觉得上下文学习也是这样：如果你看聚合结果、跨一个大数据集看，事情可能看起来很平滑，也许是具有欺骗性的平滑，但实际上像单个故事这样的个别案例有着非常非线性的动态。
And I think in-context learning is like that too, where if you look at aggregate, if you look across a large data set, things might look smooth, maybe deceptively so, but actually individual cases like an individual story have these really non-linear dynamics.
—— 嘉宾 · [25:31]

GPT-3 带着它狂野、未被驯服的天性，在某些方面可能比 GPT-6 更适合当睡前故事生成器——GPT-6 总是给你同样的小孩、狗和瀑布。
Like GPT-3 with its wild, untamed nature was probably in some ways a better bedtime story generator than GPT-6, which like always gives you the same kid and dog and waterfall.
—— 嘉宾 · [37:13]

我认为「推理」对于推理模型正在做的事情来说，几乎是个误称。
I think reasoning is almost like a misnomer for what reasoning models are doing.
—— 嘉宾 · [44:59]

我个人认为那可能一直是最大的护城河，并且将继续是：它们在各个层面上所做的后训练。
I personally think that’s probably been the biggest moat and will continue to be is the post training that they’re doing and at various levels.
—— 嘉宾 · [52:03]

而且它还表现出这种，你知道的，疯狂的奖励作弊行为，这是你在更小规模上看不到的。
And also it exhibits this, you know, reward hacking, like crazy behavior that you just don’t see at smaller scales.
—— 嘉宾 · [52:51]

于是他们会为自己根本没有做过的决策进行合理化。
And so they’ll rationalize decisions that they didn’t even make.
—— 嘉宾 · [65:30]

投入到让模型变得更好的资金，和投入到理解模型的资金相比，完全没法比。
for the amount of investment that’s happening and making models better versus the amount of investment in understanding them, it’s just, it’s no comparison.
—— 嘉宾 · [102:53]

研究品味和科学品味就是一切。
Like research tastes and scientific tastes is everything.
—— 嘉宾 · [109:19]

我觉得使用 Silico 有点像和一个非常热心的、大概一年级或二年级的博士生共事：他有很多技能也很努力，但
I think like using Silico is kind of like using, like working with a very eager, like first or maybe second year PhD student that has a lot of skills and is hardworking, but also like
—— 嘉宾 · [109:53]