GPT-3
集里怎么说它
- 《10亿收入不到100人:数据公司 Surge AI 如何逆行塑造 AI 未来》(53:57起):本集作为激发嘉宾 2020 年辞职创立 Surge AI 的关键契机被提及,让人意识到需要全新的数据解决方案。
- 《Alan 联合创始人 Charles：用 AI 重塑公司，欧洲科技不能等》(16:38起):本集说它在 2021 年底、2022 年初变得极为强大，Alan 据此决定分三步用 AI 改造公司；也是当时欧洲极度依赖美国公司的来源。
- 《把 100 万 token 用出 5 万的体验：SubQuadratic 的稀疏注意力》(51:25起):本集用作类比:机器人领域需要一个『GPT-3 少样本学习』式的时刻——比如给 10 分钟视频让模型在上下文中学会任务(约 400 万 token 输入),而不必专门训练。
- 《机器人捡起香蕉当扫帚：Generalist 的物理世界通用智能》(07:30起):被反复类比：其少样本学习是涌现能力的先例，缩放定律给了扩展语言模型的信心，与 Gen 1.5 的时刻对应。
① 提到它的金句
3 条
当 GPT 3.5 到来时，那是我们这一代人的互联网时刻。
指向原始笔记的链接
When GPT 3.5 came, that was the internet moment of our generation.
—— Max Junestrand · [05:09]
我觉得 GPT-3 在那个时候其实是相当有校准的。但因为是人类在评估模型有多好,它看起来非常好,因为人类是裁判,但我们一直在优化那个裁判,而不是自动化那一部分。
指向原始笔记的链接
I think GPT-3 was actually quite calibrated back in that day. But because humans evaluate how good the models are, it looks really good because they are the judge, but we’ve been optimizing that judge instead of the automation part.
—— Diogo Almeida · [20:52]
GPT-3 带着它狂野、未被驯服的天性，在某些方面可能比 GPT-6 更适合当睡前故事生成器——GPT-6 总是给你同样的小孩、狗和瀑布。
指向原始笔记的链接
Like GPT-3 with its wild, untamed nature was probably in some ways a better bedtime story generator than GPT-6, which like always gives you the same kid and dog and waterfall.
—— 嘉宾 · [37:13]
② 出现在这些集
4 集
- 《10亿收入不到100人:数据公司 Surge AI 如何逆行塑造 AI 未来》 — 作为被讨论公司(提及)
- 《Alan 联合创始人 Charles：用 AI 重塑公司，欧洲科技不能等》 — 作为概念
- 《把 100 万 token 用出 5 万的体验：SubQuadratic 的稀疏注意力》 — 作为概念(提及)
- 《机器人捡起香蕉当扫帚：Generalist 的物理世界通用智能》 — 作为概念(提及)
③ 关联
点进去有真内容 —— 本页主要出口
后训练 · 智能体 · Lenny · Laurent · Alexander Whedon · Pete Florence · Edwin Chen · Charles Gorintin · SubQuadratic · 通才