跨国深谈← 返回←幻觉 (hallucination)

集里怎么说它

• 《Mustafa Suleiman:数据是新的护城河——AI 创业者的机会地图》(19:15起):AI 一旦跳出角色、出错或产生幻觉，就会摧毁错觉、破坏信任，让消费级产品失去用户。
• 《AI时代衡量开发者生产力：Nicole Forsgren 谈怎么测才不撒谎》(00:37起):本集指出因为大模型是非确定性的，不能输入命令就直接接受返回结果，必须持续评估是否出现了幻觉、可靠性如何、代码是否符合团队通常的编写风格与规范。
• 《管理 3 万人的 Cisco 产品总裁：AI 转型与成功的六字真言》(16:42起):本集把它说成是导致企业对大语言模型产生「信任赤字」的核心原因:写诗时它是特性,但在运行需要可预测性的关键业务系统时,它就成了破坏性的缺陷。
• 《AI 会改变一切，但也「只和互联网一样大」》(07:19起):本集指出这是当前 AI 的固有缺陷，提到律师事务所担心提交包含它的文件，并说如果你去推动模型，它仍然会产生幻觉。
• 《AI 智能体怎么认证：从标准到红队测试的全流程》(12:17起):本集说它是 AI 独有的风险，在某些对抗攻击下幻觉率会飙升，没有任何智能体系统能完全消除幻觉
• 《Steven Sinofsky：AI监管为什么急不得》(04:23起):本集用它说明 AI 的矛盾状态——它不可能既是’世界上最聪明的事物’，同时又产生幻觉、答案是错的且无法依赖
• 《谁来给 AI 聊天机器人做事实核查：前 CNN 主播的新战场》(17:26起):本集说模型的幻觉之所以危险，是因为即使答案错误，呈现方式仍然自信、流利、清晰，导致用户更容易相信；并举了 GPT-3 关于林肯的幻觉作为例子
• 《给 AI 装上「自我怀疑」：剑桥教授 30 年的不确定性智能之路》(21:54起):本集说幻觉是症状，与不确定性相关；但有时我们想要模型产生幻觉（如创意写作），需要在完全不幻觉和没有创造力之间找平衡
• 《Ed Zitron：生成式 AI 是一场万亿级骗局》(24:34起):本集多次讨论，说 Victoria 幻觉排行榜显示简单摘要任务幻觉率从 21.8% 降到 0.7%，但复杂任务仍严重；OpenAI 自己报告说幻觉在数学上保证会发生。

① 提到它的金句

2 条

如果你去除了那些幻觉率，那是因为你让智能体变得如此愚蠢，以至于它无法真正执行那里的用例。
If you remove those hallucination rates, it’s because you’ve made the agent so dumb that it won’t be able to actually execute the use case there.
—— Emil Lassen · [32:52]

指向原始笔记的链接

你也不应该盲目地同时开三个让它们互相争斗，因为它们很容易让自己全都相信同一个幻觉。
And you shouldn’t just blindly turn on three of them fighting each other because they can easily all convince themselves of the same hallucination.
—— Brian McClendon · [37:35]

指向原始笔记的链接

② 出现在这些集

9 集

• 《Mustafa Suleiman:数据是新的护城河——AI 创业者的机会地图》 — 作为概念(提及)
• 《AI时代衡量开发者生产力：Nicole Forsgren 谈怎么测才不撒谎》 — 作为概念
• 《管理 3 万人的 Cisco 产品总裁：AI 转型与成功的六字真言》 — 作为概念(提及)
• 《AI 会改变一切，但也「只和互联网一样大」》 — 作为概念(提及)
• 《AI 智能体怎么认证：从标准到红队测试的全流程》 — 作为概念
• 《Steven Sinofsky：AI监管为什么急不得》 — 作为概念(提及)
• 《谁来给 AI 聊天机器人做事实核查：前 CNN 主播的新战场》 — 作为概念
• 《给 AI 装上「自我怀疑」：剑桥教授 30 年的不确定性智能之路》 — 作为概念(提及)
• 《Ed Zitron：生成式 AI 是一场万亿级骗局》 — 作为概念(提及)

③ 关联

点进去有真内容 —— 本页主要出口

智能体 · OpenAI · Anthropic · Microsoft · Lenny · AGI · NVIDIA · Google · LLM · 微调