跨国深谈

推理 (inference)

33分钟阅读

跨国深谈← 返回←推理 (inference)
推理

推理 (inference)

概念
本站收录 46 集 · 9 条金句 · 关联 10 个

集里怎么说它

① 提到它的金句

9 条

所以在推理计算方面，这基本上比当今最前沿的模型小了一百多倍。
So that’s like more than a hundred X smaller in terms of inference compute than basically the absolute frontier of models today.
—— Mustafa Suleyman · [10:28]

指向原始笔记的链接

推理从「我需要运行这个模型」变成「一套运行这些智能体的工具」。
Inference goes from, I need to run this model to a set of tools to run these agents.
—— Julian · [11:32]

指向原始笔记的链接

推理从狭义的解决方案变成了解决更广泛问题的一套工具。
inference turns from a narrow solution to a set of tools to solve a broader problem.
—— Julian · [12:07]

指向原始笔记的链接

在游戏的每一刻，都有数百个推理调用正在发生，即使是一年前我们也无法构建任何这样的东西。
At every moment in the game, there are hundreds of inference calls happening, and we couldn’t have built anything like this even a year ago.
—— Kwindla Kramer · [19:25]

指向原始笔记的链接

这就是为什么如此多的 CapEx 正在投入，但推理工作负载还不到 10%。
That’s why so much CapEx is going, but inference workloads are less than 10%.
—— Navin Chaddha · [28:58]

指向原始笔记的链接

即使对于头部内容，这也是一个破碎的商业模式，因为当 AI 或推理增长时，假设今年增长 7 倍，明年再增长 7 倍。在这 50 倍上，他们的交易规模并没有增长 50 倍。
And even for the head, it is a broken business model because when AIs or inference grows, let’s say 7x this year and another 7x the next year. On this 50x, their deal size is not growing 50x.
—— Parag · [38:25]

指向原始笔记的链接

在美国开源这一边，我总体上认为 AI 的赚钱机器是推理。
on the open source US side, I generally think that the moneymaker in AI is inference.
—— Aaron Levie · [12:08]

指向原始笔记的链接

我们认为在不久的将来，你会看到人们日常推理调用中的很大一部分，甚至可能是大多数，会走向本地设备和本地笔记本电脑或本地工作站，而不是像今天这种一切都被推上云端的标准做法。
We think in the very near future, you’re going to see a huge proportion, maybe even a majority, of people’s daily inference calls going to local devices and on-prem laptops or on-prem workstations, as opposed to the kind of standard of today where everything’s being pushed up to the cloud.
—— 嘉宾 · [45:06]

指向原始笔记的链接

如果每个人都想使用它，推理将会压垮计算基础设施。
If everybody wants to use it, inference is going to crush the compute infrastructure.
—— Andrew Feldman · [31:30]

指向原始笔记的链接

② 出现在这些集

46 集

③ 关联

点进去有真内容 —— 本页主要出口

智能体 · OpenAI · Anthropic · Cursor · GPU · NVIDIA · 护栏 · OpenRouter · 微调 · 沙箱

反向链接