集里怎么说它

• 《把训练好的模型当数据喂给模型：权重空间学习》(01:12起):本集把权重描述为神经网络的 DNA，是一种输入模态，可以像语言模型吃文本、图像模型吃像素一样被另一个模型来’吃’，从中分析和生成新权重
• 《让品牌被 AI 看见：AEO 实战与研究》(18:09起):四大支柱之首：训练时注意力函数把品牌与哪些实体共现关联、嵌入的事实准确性与情感都会影响引用时刻；训练周期缩短后，在权重里留下印记比出现在单个上下文窗口值钱数量级。
• 《300亿美元的隐形公司：VastData 要做 AI 时代的操作系统》(06:15起):本集说企业 IP 最终会被蒸馏进模型、变成权重，企业不该让大模型厂商随时间拥有一切，因此要在加密保护下让双方都看不到对方的权重
• 《知识该放哪？提示词、记忆还是微调？》(02:30起):本集说只有停止变化的东西才属于权重,唯一依据是变化速率;搞错了会把还在移动的边界冻结住——本集事故里产品目录就是在微调时泄漏进权重的

① 提到它的金句

19 条

所以杠杆不在于权重，而在于你如何连接工作。
So the leverage is not in the weights, it’s in how you wire the work.
—— Garry Tan · [03:17]

指向原始笔记的链接

一旦模型发布，你就拥有对权重的完全控制。你可以随意修改它。它是你的。
Once the model is released, you have the full control of the weights. You can change it however you want. It’s yours.
—— Lin Qiao · [13:52]

指向原始笔记的链接

不要仅仅把这些权重视为训练过程的终点，如果它们也是下一个过程的起点呢？
Instead of treating those weights just as the end of the training process, what if they’re also the beginning of the next one?
—— Sam Charrington · [01:12]

指向原始笔记的链接

我们正在耗尽数据来训练大模型，但我们没有在使用旧模型的权重。所以为什么不使用权重，所有的知识，人们投入的所有算力，对吧？
We’re running out of data to train the large models, but we’re not using the weights of older models. So why not using the weights, all the knowledge, all the compute that people invested, right?
—— Damian Borth · [30:39]

指向原始笔记的链接

但杠杆不在于权重。而在于你给它什么样的上下文，它有多相关，以及它是否发生在正确的步骤。
But the leverage is not in the weights. It’s in what context you give it, how relevant it is, and does it happen at the right step.
—— Garry Tan · [10:15]

指向原始笔记的链接

所以开始适应在开放权重上运行，因为那才是打开大门、让你拥有自己的权重并在此基础上持续改进的关键。
So start getting comfortable running on open weights, because that is what unlocks the door to owning your weights and then continually improving on top of them.
—— Arjun Karanam · [10:52]

指向原始笔记的链接

我认为更好的是，如果你拥有一个受益于向开放权重转型的AI产品，除了今天前后90天之外，没有更好的出售时机了。
I think even better, if you have an AI product that’s benefiting from the transition to open weights, there can’t be a better time to sell than plus or minus 90 days from today.
—— 嘉宾 · [42:42]

指向原始笔记的链接

所以一般来说，我想说开放权重实际上是 AI 生态系统中非常重要的一部分，以至于我认为它被错误地框定成了与闭源权重的零和博弈。
So like open weights in general, I would argue is actually a very important part of the AI ecosystem, so much so that I think it’s actually kind of misframed as zero sum with closed weights.
—— Aaron Levie · [02:05]

指向原始笔记的链接

想象一下以现价的十分之一运行 Kimi K2。这是可能的，就算不是便宜 90%,也能比标价便宜 80%,因为他们能拿到权重。如果人们拿不到可以使用的开放模型权重，创新就不会发生。
Imagine running Kimi K2 at one-tenth the current price. It’s possible, if not 90%, then 80% off the list price, because they have access to the weights. If you don’t have access to open model weights people can use, no innovation happens.
—— Eric Simons · [23:09]

指向原始笔记的链接

这种工作负载是极其受内存限制的。你把大部分时间花在内存层次结构之间搬运权重上，而你做的算术运算非常少。
That kind of workload is extremely memory bound. You’re spending most of your time moving around weights across the memory hierarchy and you’re doing very little arithmetic.
—— Stefano Ermon · [09:12]

指向原始笔记的链接

模型的权重永远不会改变，除非你有数百万美元，或者大量时间，或者 GPU。
A model and the weights of the model will never change unless you have millions of dollars or a lot of time or GPUs.
—— Ignacio Martinez · [16:10]

指向原始笔记的链接

只要在服务上有 50 个用户，仅仅是这些单独的用户会话，就会超过你试图存储的模型权重
with just 50 users on your service, the user context, just those individual sessions end up being greater than the model weights that you’re trying to store.
—— Thomas Sohmers · [40:27]

指向原始笔记的链接

随着时间推移，我认为所有这些组织的 IP 都将被蒸馏进模型，它将是权重。
Over time, I think all of these organizations’ IP will be distilled in models. It will be weights.
—— Renen Hallak · [06:09]

指向原始笔记的链接

嗯,因为当你用支持工单微调时,产品目录已经泄漏进权重里了。
Well, the product catalog leaked into the weights when you fine-tuned it on your support tickets.
—— Anant Srivastava · [04:23]

指向原始笔记的链接

人们普遍无法把直接向别人出售模型权重的生意做成，所以你没法真正把一个训练部门变成一个能自我支撑的系统。
People have not generally been able to make businesses work where they sell model weights to people directly, and so you can’t really turn a training setup into a proper self-supporting system.
—— Charles Frye · [05:11]

指向原始笔记的链接

是的，我非常有信心，未来看起来像一组非静态的权重。
Yeah, I think we are pretty confident that the future looks like a non-static set of weights.
—— Yash · [14:59]

指向原始笔记的链接

我认为上下文学习所涵盖的，是模型为调整自身行为所做的一切，而这不是发生在权重学习内部的。
What I think of in-context learning as capturing is everything the model is doing to adapt its behavior that’s not happening within weights learning.
—— 嘉宾 · [20:30]

指向原始笔记的链接

当每个人都想要个人智能体，或者每个企业都想要自己的、全天候 24-7 持续在线并运行大量自动化的个人智能体时，上下文窗口比内存中的模型权重更重要。
When everybody wants personal agents or every business wants its own personal agents that’s always on and working 24-7 and running a lot of automations, the context window matters even more than the model weights in the memory.
—— Arvind Srinivas · [30:26]

指向原始笔记的链接

在这个过程的最后，他们拥有真正的所有权，也就是模型权重。
At the end of this process, they have real ownership, which is model weights.
—— Nathan Lambert · [21:28]

指向原始笔记的链接

② 出现在这些集

4 集

• 《把训练好的模型当数据喂给模型：权重空间学习》 — 作为概念
• 《让品牌被 AI 看见：AEO 实战与研究》 — 作为概念
• 《300亿美元的隐形公司：VastData 要做 AI 时代的操作系统》 — 作为概念
• 《知识该放哪？提示词、记忆还是微调？》 — 作为概念

③ 关联

点进去有真内容 —— 本页主要出口

智能体 · 推理 · 微调 · RAG · Sam Charrington · Daniel Whitenack · Renen Hallak · Anant Srivastava · Damian Borth · Chris Benson