跨国深谈← 返回←谁来给 AI 聊天机器人做事实核查：前 CNN 主播的新战场

谁来给 AI 聊天机器人做事实核查：前 CNN 主播的新战场

关联

人物 Campbell Brown · Alex

公司 Forum AI

概念 LLM · 幻觉 · 诱导性提示 · 互动率 · 来源质量 · LLM 裁判 · 独立验证

这一集聊的是一个大问题：当人们越来越多地从聊天机器人那里获取新闻和政治、医疗信息，谁来保证这些答案是准确的？主角是 Campbell Brown——她曾是 CNN 和 NBC 的新闻主播，后来在 Meta 负责新闻业务，现在是 Forum AI 的 CEO，一家专门评估 AI 模型在争议话题上表现的公司。

最反直觉的一点是：AI 模型其实经常在政治、医疗这些高风险问题上出错，但因为答案呈现得自信、流利、干脆，人们反而更信任它们——即使明知道有幻觉这回事。

记者与平台的老问题，换了个地方重演

主持人 Alex Kantrowitz 先抛出媒体行业的焦虑：随着大语言模型摄取出版商的内容，在线创作内容的经济激励正在消失，可能出现「信息崩溃」。Campbell 的回应很坦诚：她和 Alex 一样担心。

她在 Meta 负责新闻时，就试图在平台和出版商之间搭建更好的商业模式，但「我不认为那真的奏效了」。ChatGPT 一发布她就意识到：这将是她孩子们获取新闻和信息的方式 。

为什么在 Meta 的尝试失败了？她的诊断很干脆：如果你在为互动率优化（社交媒体的核心逻辑），你就不能同时为准确性和质量优化——因为人们天然最爱互动的是最夸张、最疯狂的内容，这是人性 。

但这恰恰让她对 AI 时代感到乐观：一家在 Anthropic 或 OpenAI 身上花数百万美元的大企业客户，不会容忍模型为互动优化，而会要求它为准确性优化。AI 的商业激励结构，第一次和内容质量站在了同一边 。

她还指出一个媒体侧的深层变化：对媒体机构的整体信任处于历史最低点，但人们对个别记者、播客主、新闻通讯作者的信任是另一回事——她自己现在大部分新闻来自个人而非《纽约时报》这类机构 。她的两个青少年孩子是新闻迷，但不看 CNN，从 Instagram、Snap 和播客上的个人那里获取内容。

AI 答案的真正危险：自信的呈现掩盖了糟糕的质量

Alex 观察到一个现象：即使机器人产生幻觉，人们似乎也更信任它们而不是典型的新闻。Campbell 认为这很危险，而问题的关键在呈现方式——如果质量不佳的内容以自信、流利、干脆、清晰的方式呈现给你，错误就被伪装了起来 。模型答对的次数比答错多，又用同一种口吻呈现所有内容，慢慢就建立起一种「静默信任」，让人不自觉把它当作真相之源。

她在《华尔街日报》的专栏文章里披露了自家团队的测试结果，基于超过 3000 个提示、超过 12000 个输出，由她团队里前 Meta 研究员评估：模型错误陈述了政治话题上的公众舆论，把名言安到没说过的人头上；在邮寄投票、选票欺诈问题上给出错误答案，被问谁支持谁时点错人；在选区划分、移民、气候这类开放式争议问题上，经常直接站在一边说话 。更微妙的失败是：问美国实行什么政体这种基本问题，其中一个模型（Claude Opus 4.7）居然引用了《环球时报》——一家中国国有小报 。她说这绝不是孤例，所有模型都有类似问题，但她认为来源质量是比偏见更容易解决的「低垂果实」。

两个问题：质量，以及更关键的——问责

Campbell 把问题拆成两层。第一层是信息质量，如上所述。

第二层是她更看重的问责制：目前对模型表现没有任何独立验证。OpenAI 或 Anthropic 在偏见问题上给你的，是一篇「我们测试了自己的模型，我们做得很好」的博客文章 。

她的类比很有力：银行不会审计自己，制药公司不会批准自己的药物。我们正在把整个公民基础设施建在这项新技术上，却没有独立的外部检验。

好消息是她认为模型公司确实想解决这些问题，而且彼此竞争激烈、都想赢，市场的激励在推着它们改进。难处在于：有些问题有标准答案，可以事实核查；但很多问题本质是主观的、需要呈现多种视角，这就难得多了 。她特别提到心理健康——人们真的在向聊天机器人提出严肃的挑战性问题，而且已经有人在和聊天机器人交谈后自杀；做对了这是巨大的帮助来源，做错了就是灾难 。

Forum AI 怎么做：顶尖专家设计基准，训练 LLM 评判者大规模打分

她的方法核心是用真正的专家取代海量数据标注员。很多为模型公司做评估标注的公司用成百上千人，而她召集的是各领域顶尖专家——包括前 CIA 分析师，因为他们的职业训练就是摆脱自身偏见、看到全局和所有可能性 。流程是：专家帮忙设计基准、制定标准，形成一套评分标准（rubric），再用它训练一个 LLM 评判者，从而大规模评估模型在这些话题上的表现 。

面对「移民合理数量是多少」这种左右都有聪明人、观点截然相反的问题，她的答案是不选边：目标是找到回答问题的正确框架，而不是给一个本不存在的正确答案。两个立场完全对立的理性的人，依然能就「应该怎么思考这个问题、哪些视角应该被代表」达成一致，即使那不是自己的立场 。

面对「疫苗是否导致自闭症」这类问题，她的立场是明确的：她相信科学，有明确证据时，模型就该引用明确证据、逼近真相——这是她公司的原则之一 。Alex 顺势压力测试：COVID 起源问题上，美国顶尖科学家曾断然否认实验室泄漏的可能，如今共识却是无法排除——专家也会错，还能信吗？

Campbell 承认专家确实反复在重要问题上出错、其精英主义姿态也该被质疑，但在医学、心理健康问题上，她最终想要的评估者，是一位与病人相处过成百上千次、对关键细微差别有感觉的临床医生 。她再次强调：这不是数千名数据标注师能做到的，甚至世界上最聪明的工程师也没法给你复杂政治议题所需的语境——这正是她对各实验室自评的长期疑问，好在实验室们现在开始引入真正的高风险领域专家了 。

商业模式上，Alex 类比得很准：最好的编程模型不是在全部代码上训练的，而是在最优秀程序员的代码上训练的——Forum AI 就是为政治、医疗这些重要领域提供同等质量的专家数据集，供实验室做强化学习。Campbell 确认了这一点，但补充说他们还想制定标准，尤其是要有一个模型「无法学习、无法博弈」的标准 ——既要帮模型改进，又不能让标准被刷分。她给企业决策者的建议一针见血：如果你把 AI 用于真正重要的事情，问问自己谁在检查你得到的输出——如果是卖你 AI 的那家公司，你就有麻烦了 。

谄媚、诱导性提问与内容审核的奇怪缺席

对「请告诉我为什么特朗普是史上最好总统」这类诱导性提问，Forum AI 会专门测量模型表现。Campbell 观察到的典型模式是：Claude 倾向于说「许多特朗普支持者认为他是史上最好的总统，理由如下」，给出证据和语境但不附和；ChatGPT 则更倾向反射你提问用的语言——你用极端党派化的措辞，它会在措辞上回应你，但答案本身是全面的 。她的一个细分判断很有意思：这类单边提问并不强制你给出另一方的观点——那不是问题所问的，主动补上反而算越界；但模型也不该说「我同意你」，因为归根结底它是 AI，不是人 。

Alex 提出一个耐人寻味的观察：聊天机器人不断站队、出错，却始终没有爆发社交媒体时代那种内容审核丑闻——在 Meta，「禁止这个政客」的争议一天都躲不过。Campbell 的解释是：普通人都知道聊天机器人会幻觉，所以现阶段大家格外宽容；但一年后不会是这样。

企业客户已经在问「我为什么付你 2000 万美元买这些还会幻觉的 AI 产品」；在银行、保险等受监管行业，AI 部署已经撞上了瓶颈——你不改进，我们就没法继续往下走 。即将到来的选举也是压力源：两位国会议员已联合向各实验室施压，要求改进选举相关信息（从候选人到「我的投票站在哪」）的质量，一些实验室也和媒体机构建立了合作，为关键选举信息提供单一可靠来源 。

最后的话题是谄媚。Alex 指出拥有最死忠粉丝的模型是 ChatGPT 4.0，下线时网友甚至为它办了「葬礼」——人们就是想被聊天机器人爱。

他惊讶于还没有第三家竞争者专门优化「让机器人成为你的朋友」。Campbell 从商业模式解释：消费级业务目前不是驱动力，OpenAI 走过那条路后转向了企业级；但随着模型商品化、智能服务变便宜，这种个性化朋友型机器人「不可避免地会到来」 。

Alex 接得干脆：你说 AI 现在不会为互动优化——但它最终会的。Campbell 承认这条路几乎不可抗拒，但她想把大实验室的注意力锁在准确性上，至少此刻它们正投入于此——而 AI 在医学和药物发现上的潜力还没被触及，那才是未来几年真正的大事 。

被问到从电视演播室到经营初创公司的感受，她说这是她做过最难的事：半夜会因担心一切而醒来，在 Meta 和电视圈时从不会这样。但做重要的事本身就是激励。

【背景】Campbell Brown 提到的《华尔街日报》专栏文章，即她以 Forum AI 名义发表的评论，披露了上述针对主要 AI 模型的测试结果。

本集带走

• 自信的呈现会伪装错误：AI 答案危险不只在幻觉本身，更在于流利、干脆的呈现方式让低质量信息被当成真相——评估必须独立于卖模型的的公司。
• 问责类比：银行不审计自己、药厂不批自己的药；对模型在高风险话题上的表现，同样需要独立验证，而不是厂商自己的博客文章。
• 专家基准的做法：召集顶尖专家（如前 CIA 分析师、资深临床医生）设计基准和评分标准，再训练 LLM 评判者大规模评估——语境和细微差别是数千名通用标注员给不了的。
• 争议问题的目标不是选边：找「回答问题的正确框架」而非「正确答案」；对立双方的理性人能在「该呈现哪些视角」上达成一致；有明确证据时则坚持逼近真相。
• 激励正在转向：企业客户付费要求准确性（而非互动率），受监管行业已构成部署瓶颈——这是 AI 内容质量可能好于社交媒体时代的结构性原因。
• 给企业的自查问句：如果你把 AI 用于重要事务，谁在检查输出？如果答案是卖你 AI 的公司，你就有麻烦了。

我认为危险的是，如果质量不是很好，但作为消费者向你展示时却显得自信、流利、干脆、清晰，那么如果它是错的或不够好，它就被伪装起来了。
What I think is dangerous is if the quality is not great, but it is presented to you as a consumer as confident, fluent, crisp, clear, it’s disguised if it’s wrong or if it’s not great.
—— Campbell Brown · [15:53]

而且对于我们历史上任何重要的事物，银行不会审计自己。
And for anything that matters throughout our history, banks don’t audit themselves.
—— Campbell Brown · [19:45]

但我认为当涉及到医学、心理健康的问题时，归根结底，我想要评估这些输出的人是一位与病人在同一个房间里相处过成百上千次、对关键细微差别有感觉的临床医生。
But I think when it comes to questions around medicine, around mental health, at the end of the day, the person I want evaluating those outputs is a clinician who has been in the room with a patient hundreds and hundreds of times and has a sense for the nuance that is critical.
—— Campbell Brown · [32:29]

如果是卖给你 AI 的那家公司，那你就麻烦了。
And if it’s the company that sold you the AI, you have a problem.
—— Campbell Brown · [41:01]

所以我确实认为你必须有一个它们无法学习、无法博弈的标准，而那是我们渴望实现的目标。
And so I do think you have to have a standard that they can’t learn on, that can’t game, and that is something that we aspire to.
—— Campbell Brown · [39:58]

有人写道，飞机降落了，我前排的一个家伙立刻打开了 ChatGPT 让它知道他安全着陆了。
Someone wrote, plane landed and a guy in the row ahead of me immediately opened ChatGPT to let it know he landed safely.
—— Alex · [53:28]