跨国深谈← 返回←AI出问题不是“恶魔附身”，是软件有bug

AI出问题不是“恶魔附身”，是软件有bug

关联

人物 Steven Sinofsky

公司 Microsoft · OpenAI · Hugging Face · Google

概念 对齐 · bug · 遥测 · Y2K(千年虫) · 计算机病毒 · 运营安全 · Excel · Windows

Steven Sinofsky管过Windows，现在在a16z做董事合伙人。他这期节目里火力全开：

AI圈自己发明的那些词——对齐、目标追寻、失控智能体——正在让国会议员和公众彻底搞不清AI到底出了什么事。

AI没“对齐失败”，它只是有bug

Sinofsky的核心论点很简单：软件没做你期望它做的事，就叫bug。但AI圈说成“未能对齐”，好像软件在思考、在做道德判断、有自己的意图。

他说，当年Word吃掉你的文件、删光你的内容，没人认为是恶魔占领了Word，让它违背人类意志行事。

电子表格算错数，也没人围着圈祈祷对齐之神保佑它把数学算对。

自动驾驶软件把停车标志认成圣诞树，我们说这是bug，而且是危险的bug——但它是bug，不是什么“未对齐”。

他的判断是：现在的AI模型还停留在研究项目阶段，缺少成熟软件该有的遥测、日志、逐步调试工具。

一个1987年的bug，教你什么叫专业

他讲了个真事。1987年，Windows版第一代Excel有个bug：不知在哪里，它会把”SINDOGS”这个莫名其妙的词写进某个设置文件。

没人知道这词从哪来的，翻遍源代码也找不到。

换作今天，完全可以宣布“Excel的大脑自己决定写下这个词”。但当年团队的做法是：

写脚本让Excel不停生成图表、用点阵打印机打印，连跑两天，终于复现了bug——它取决于内存大小、运行时长和打印机驱动。

这就是成熟软件工程的样子：不玄学化，去调试。

微软当年也被批“软件很烂”，后来呢

Sinofsky回忆，早年IBM的人看Windows就像看垃圾：跑银行、航空公司、电厂的是大型机，你这玩具算什么。Windows团队则辩解“我们是新的、不一样的”。

直到人们用Excel决定飞机怎么飞、用Word向最高法院递交诉状，软件就必须长大。

1998年3月，一个结合Outlook、Word和电子邮件的蠕虫病毒出现，一天之内号称造成美国经济120亿美元损失。微软当即暂停Outlook开发，直到解决问题。

他的原话很硬：有人总拿“这事很难”当借口，一位科技记者直接怼他：“Sanofsky，这就是为什么给你发大钱”。要么把软件做好，要么别卖。

“对齐”这个词本身就有问题

Sinofsky指出，所谓对齐，本质上需要一张巨大的规则清单——这能做、那不能做。

但软件工程的常识是：约束太多，系统会崩，还会产生无穷的意外副作用。

加规则的结果就是Google式的困境：20年、几千人全职，永远在决定搜索结果该怎么呈现。

AI公司做的是更难的版本——不仅检索，还要合成结果。这活儿确实难，但没有哪条法律能替他们发明解法，全在他们自己身上。

Y2K的成功，靠的是行业自律不是立法

有人问AI对齐像不像千年虫。Sinofsky说像，而且因果关系很清楚：专业人士先担忧，然后承担责任，然后坏事才没发生。

大家租发电机、把电脑搬进地堡——没出事是因为做了这些事。

当时也有合规规定，但大部分是行业自己起草的：银行、保险公司跨行业联合会制定规则。

他建议OpenAI和各前沿实验室也应该联合起来，建立像航空事故调查和软件漏洞披露（CVE）那样的报告体系。

美国联邦航空局出事后绝不在当天就宣布“我们推测是……”，他们闭嘴，直到查清，然后给你精确到零点几秒的完整时间线。

“计算机病毒”这个词是怎么吓坏全国的

语言的破坏力，早有先例。“计算机病毒”这个词诞生得其实很偶然，但赶上了艾滋病流行的年代，“病毒”一词满天飞。

当年国会关于病毒的听证会之所以吓人，是因为人们真的在联想到死亡——而软件层面根本不是那回事。

同样，AI论文里说“目标追寻”，技术含义只是数学上的曲线求极值；但国会议员听到，想到的是一个人想拿A。

“秘密协同”在软件里不过是两个程序共用一个信号量，普通人听到的却是间谍渗透。术语正在撕裂这场对话。

Hugging Face和OpenAI那事，其实是运维安全事故

节目最后，Sinofsky点到最近的安全事件：Hugging Face和OpenAI发生的事，没有任何智能和意识可言，就是纯粹的运营安全（opsec）失败。

行业必须这么看待它、这么谈论它，否则只会换来一部没人满意的法律——因为立法者根本听不懂这个行业在说什么。

本集带走

• AI“对齐失败”在绝大多数情况下就是软件bug，神秘化术语只会让公众和政策讨论更混乱。
• AI模型缺少成熟软件必备的遥测、日志和调试基础设施，这是行业的功课，不是国会的工作。
• Y2K的经验是：行业主动担责、制定标准和报告机制，比等待立法更有效。
• 像航空业和CVE那样的事故报告体系，是AI行业该学的样板。
• 术语翻译有代价：“目标追寻”“秘密协同”在技术语境和日常语境里意思天差地别，立法者听的是后者。

AI 圈的人正在让任何人都无法理解他们到底做了什么。
the AI people are making it impossible for anybody to understand what they’ve done.
—— Steven Sinofsky · [05:34]

我们并没有围坐成一圈向对齐之神祈祷，求电子表格把数学算对。
we didn’t sit around like in a circle and pray to the gods of alignment that the spreadsheet would do math correctly.
—— Steven Sinofsky · [06:16]

当 Word 吃掉你的文件、删光你所有内容的时候，我们并没有认为是恶魔附体了 Word，让它做出违背人类意愿的事。
when Word ate your file and deleted all your content, we didn’t think that demons had taken over Word and made it do things against the will of man.
—— Steven Sinofsky · [06:25]

突然间我们有了遥测，突然间我们遇到的 bug 比我们以前知道存在的还要多。
And suddenly we had telemetry and suddenly we had more bugs to fix than we knew it ever existed.
—— Steven Sinofsky · [08:56]

但我确实认为，即使你用 bug 这个类比，不同之处在于 bug 的总的可触及表面积在理论上显然更具灾难性，或者说这是这个 bug 有史以来最小的表面积。
But I do think that what’s different, even if you use the bug analogy, is that the total addressable surface area of the bug is obviously more catastrophic in theory, or like this is the least surface area that the bug will like ever have.
—— 嘉宾 · [12:31]

结果发现，我们要做的就是成熟起来，看着人们用 Excel 来决定飞机怎么飞，用 Word 向最高法院提交诉状，用 PowerPoint 来演示挑战者号航天飞机的失事。
And it turns out all we had to do was grow up and watch people use Excel to decide how do planes fly, use Word to file briefs in the Supreme Court, use PowerPoint to present the Challenger space shuttle failure.
—— Steven Sinofsky · [13:33]

没有人想到你能制造出一个 bug，在 12 小时内造成 120 亿美元的损失。
Nobody had imagined you could create a bug that in 12 hours could do $12 billion worth of damage.
—— Steven Sinofsky · [14:42]

你必须搞清楚怎么让它工作，否则就别卖它。
You’ve got to figure out how to make it work or not sell it.
—— Steven Sinofsky · [15:58]

如果只是坐着争论说需要召唤更高力量才能解决这个问题，那是纯粹的疯狂。
It is pure insanity to just sit and argue that higher powers need to be summoned in order to fix this.
—— Steven Sinofsky · [16:30]

所以，现在正在发生的很多事情，就是我们正处于发明一套方式来谈论「在一个随机统计系统里什么才算 bug」的阵痛之中。
And so, so much of what’s going on now is we’re in the throes of inventing this way to talk about what is a bug in a stochastic statistical system.
—— Steven Sinofsky · [26:24]

他们不会去乞求宙斯，说，求求你，宙斯，告诉我们为什么我们的天气报错了。
They don’t appeal to Zeus and say, please, Zeus, tell us why our weather was wrong.
—— Steven Sinofsky · [27:03]

没有智能，没有意识，什么都没有，纯粹是一次 OPSEC 失败。
There was no intelligence, no consciousness, nothing but a pure OPSEC failure.
—— Steven Sinofsky · [27:36]