训练数据 (training data)
集里怎么说它
- 《训练机器人缺数据?答案藏在数十亿网络视频里》(15:09起):本集核心论点:「AI 已经不是难的部分,数据才是」;互联网是现存最大的数据库之一,数十亿小时训练数据等着被抓取、收集和处理。
- 《AI 能解千年数学难题了,但它还不会「想出新点子」》(10:28起):本集说 AI 进步的引擎受制于训练算力与训练数据等原始投入,且存在庞大行业在专门收集各领域训练数据。
- 《一年读十本传记,AI 当导师:Jason Calacanis 给年轻人的两剂猛药》(62:53起):本集说一对一教学的高质量训练数据全世界根本不存在——连学习科学文献里都没有标准,Aristotle 雇导师团队人工评分数千小时场次来自造,且因涉及 18 岁以下学生数据而严格锁死不卖。
- 《智能体崩溃后还能原地复活?聊聊 Pi Durable》(14:02起):本集用它解释模型能力分布:网络安全、建网站、重写已有代码的训练数据好建,架构设计过程没有训练数据;Armin 猜测模型公司若能从海量对话轨迹和 GitHub 历史中筛出高质量架构决策,能力会跳一档。
① 提到它的金句
6 条
在这个中间过程中,既然每个人都有非常相似的预训练数据,那后训练就是如今他们做出大差异的地方。
指向原始笔记的链接
where like post-trading, but middle course of this is more of everyone have very similar pre-training data, is that post-training is where they make a big difference nowadays.
—— Chip Huyen · [15:10]
结果证明,如果你为人类构建了很棒的交接,你同时也为智能体构建了很棒的交接,因为智能体理解 HTML 和 CSS,而且这些在它们的训练数据中。
指向原始笔记的链接
It turns out if you build a great handoff for humans, you’ve also built a great handoff for agents because agents understand HTML and CSS and it’s in their training data.
—— Stephen Haney · [03:35]
当我们第一次看到机器人这样做时,我们惊呆了,因为这个任务没有任何训练数据。
指向原始笔记的链接
The first time we saw the robot do this, we were like floored because there was no training data for this task.
—— Chelsea Finn · [33:32]
所以我认为赢家是那些拥有训练数据的人。
指向原始笔记的链接
So then I think the winner is folks who have the training data.
—— 嘉宾 · [27:34]
它在现实世界中不存在,不在真实训练数据中。这些数据必须被合成出来并放进模型里。
指向原始笔记的链接
It doesn’t exist in the real world, in real training data. Those have to be synthesized and put into the model.
—— Jan Čurn · [06:39]
我们的模型通常需要训练好几个小时——前提是你有足够的训练数据——才能产生最完美的最优配置,但 LLM 只要 15 分钟就能进来,产出一个足够好的东西,而对大多数人来说这就够了。
指向原始笔记的链接
Our models oftentimes would take hours and hours to train, assuming you had enough training data, to produce the pristine optimal configuration, but the elements can come in just like in 15 minutes, produce something that was good enough, and that’s good enough for most people.
—— Andy Pavlo · [34:31]
② 出现在这些集
4 集
- 《训练机器人缺数据?答案藏在数十亿网络视频里》 — 作为概念
- 《AI 能解千年数学难题了,但它还不会「想出新点子」》 — 作为概念(提及)
- 《一年读十本传记,AI 当导师:Jason Calacanis 给年轻人的两剂猛药》 — 作为概念
- 《智能体崩溃后还能原地复活?聊聊 Pi Durable》 — 作为概念
③ 关联
点进去有真内容 —— 本页主要出口
harness · Rafael Levi · Greg Burnham · Jason · Armin Ronacher · Bright Data · Sam Charrington · Aristotle · Mario Zechner · 世界模型
