跨国深谈← 返回←Base 10 的 Julian：推理正在从「租用智能」走向「拥有智能」

Base 10 的 Julian：推理正在从「租用智能」走向「拥有智能」

关联

人物 Julian

公司 Base 10

概念 推理 · 专用推理 · 开源模型 · 后训练 · 持续学习 · GPU 容量 · 分布式推理

「为了给客户好 10% 的体验，你愿意付 500% 的溢价。」这是 Base 10 创始人 Julian 在这一集里反复强调的一件事——他做的是 AI 推理基础设施，服务的是全球增长最快的那批公司，而这批公司的共同点是：能力就是一切，没人愿意在模型能力上妥协。正因如此，他认为「开源已经变好了」最有力的证明，就是这么多挑剔的客户都在用开源模型——因为没人想做那种取舍 。

从「租用智能」到「拥有智能」

Julian 给 Base 10 的核心主张起了个名字：rented to owned intelligence(从租用到拥有的智能)。现在大多数公司用模型的方式是按 token 付费调用别人训练好的模型——像租房子，没有价值累积，对模型怎么跑、擅长什么、跑多快、跑在哪里都没有控制权 。而他看到的未来是：公司会用自己应用和工作流的数据做后训练(post-training,拿自己的数据在现成模型上继续训练)，让模型非常擅长你要的那件具体的事，同时掌控 SLA、性能和区域部署要求——不仅拥有模型的质量，还拥有它的利用率、成本和运行工具 。

支撑这个判断的另一个信念是：世界不会只有两个模型，而是会有很多模型 。客户分三类，采用曲线各不相同：早期公司从好用的闭源模型起步、先做出零到一原型；高速增长的 AI 公司到了规模后会混用闭源、开源和自定义模型；企业级市场还早，目前采用集中在应用层而非基础设施层，但医疗和金融已经有苗头——原因很反直觉：医疗历史上一直是技术采用的落后者，但因为 AI 的投资回报率太清晰，这轮反而跑得很快 。

对应地，Base 10 的产品是三块：共享 API(多租户调用最好的开源模型，便捷入口但不管你的 SLA)、专用推理(这是他们的大头和立身之处，大多数客户都是专用方式使用)、以及训练/后训练产品 。

后训练的需求为什么是现在爆发的

其实 Base 10 在 2022 年就用一款叫 Blueprint 的产品做微调——「显然太早了」，Julian 自己承认 。需求转变是三件事叠加：一是开源模型已经够好；二是足够多的公司到了「成本随规模上涨、又失去对想做之事的控制」的规模；三是 Cursor、Intercom、Decagon 这些公司已经给出了后训练奏效的成功样板，成了可照抄的新蓝图 。第三块拼图是基础设施：光有模型不够，得有能力把它跑起来——Base 10 这类玩家让「自己训练、自己跑模型」变得可行了 。

推理正在变成智能体的工具箱

围绕收购的 Parst 团队，Julian 讲了一个更前沿的判断：持续训练如今已是工程问题——跑模型、拿生产轨迹、收人类反馈、重训、重部署，步骤清晰 ;但世界的下一步是「上下文内训练和推理同时进行」。当长时程智能体任务(模型连续干很久的活)越来越多，你希望干活的环境和模型本身持续演化 。

这对推理栈的改变是根本性的：模型从「输入直接到输出」变成会思考、在原地做大量工作、需要访问一整个工具生态——运行工具、运行其他模型、在模型间路由、快速启停执行代码的沙箱 。一句话：推理从「我需要跑这个模型」变成「一套运行这些智能体的工具」 ,从狭义的解决方案变成解决更广泛问题的一套工具 。而且他判断，智能体工作负载可能已经占了大部分 。

容量比你想的稀缺 10 倍

谈到 GPU 容量，Julian 的原话是：除非你身处其中，否则体会不到——实际情况比你想象的糟糕 10 倍。拿容量要做数月甚至一个季度的规划，还必须达到足够的规模才有资格拿；更糟的是世界上最大的公司都在抢供应，乐得把所有供给吸走 。

Base 10 的应对是一开始就押注分布式：他们今天跑在多家云、80 到 100 个区域上，策略是推理天然应该分布式——既为可靠性故障转移，也为靠近终端客户服务，以此抢下很多零散集群 。这个能力其实源于被动：创业头几年没什么业务，投资方不断把他们推到企业面前，而企业要求一切都部署在自己的 VPC(云上的私有网络空间)里，于是他们把一切构建成可部署到不同 VPC、再把多集群拼接起来——结果成了如今客户需求的经久不衰的能力 。

市场快到没法规划，那就先做深、贴住客户

「我们没有人真正了解这个市场，因为一切变化太快」——模型层在变、用法在变、部署在变、连存在的应用都在变，智能体应用的算力消耗远超非智能体应用，是阶跃式变化。为四六个月后做容量规划时，你只能选一个雄心勃勃的乐观世界图景，为它构建，然后相信市场会长成你建的样子 。连他们自己也没预测到推理模型和代码能力的跃升、开源跨越鸿沟的时点 。

方法论上，Julian 的答案是「尽量少做事」：先做深不做广，至少把一件事解决得非常非常好——这是北极星 ;加上前向部署模式，把自己当成客户团队的延伸。长期规划没有意义，Base 10 基本上每位工程师最近几周都和客户沟通过，一半的工程团队昨天就和客户说过话 。

本集带走

• 判断一家公司该不该自建模型，看规模和挑剔程度：增长最快的公司会为 10% 的体验提升付 5-10 倍价钱——这正是开源模型变好的最强证明，因为没人愿意在能力上妥协。
• 「拥有智能」的三个台阶：共享 API 起步 → 专用推理掌控 SLA 与性能 → 用自己的数据后训练，让模型擅长你那件具体的事，同时拿回成本和利用率。
• 推理栈的定义正在扩：智能体时代，推理从「跑一个模型」变成一套工具生态——模型路由、沙箱、函数调用，训练与推理的界线在融合(持续学习：边跑边拿反馈边演化)。
• 容量是真实的护城河：稀缺程度比外界想的严重 10 倍；分布式、多区域部署既是可靠性策略也是抢容量的手段。
• 极快市场里的生存法：长期规划没意义，先在一件事上做到最好，全公司贴着客户走——每个工程师都直接和客户对话。

我们中没有人真正了解这个市场，因为一切都变化得太快。
None of us really know anything about this market because things are going so fast.
—— Julian · [00:00]

能力就是一切。没有人真正愿意在能力上妥协。你会为了给客户好 10% 的体验而支付 500% 的溢价。
Capability is everything. No one’s really willing to take a hit on capability. You will pay a 500% premium for a 10% better experience for your customers.
—— Julian · [00:03]

我认为持续训练现在正在成为一种……我不想说它已被解决，但它现在像一个工程问题了，就是我们知道该怎么做
I think continual training now is becoming this kind of, I don’t want to call it solved, but it’s like an engineering problem now, where it’s like we know what to do
—— Julian · [08:00]

推理从「我需要运行这个模型」变成「一套运行这些智能体的工具」。
Inference goes from, I need to run this model to a set of tools to run these agents.
—— Julian · [11:32]

推理从狭义的解决方案变成了解决更广泛问题的一套工具。
inference turns from a narrow solution to a set of tools to solve a broader problem.
—— Julian · [12:07]

我认为你唯一能做的就是有一个非常雄心勃勃或乐观的世界图景，并为可能发生的事情而构建
I think the only thing you can do is have a very ambitious or optimistic case of the world and build to what could happen
—— Julian · [15:50]

而对开源已经变得多好的一个印证，就是有多少人在使用开源模型，因为没有人想做那种取舍。
And the testament to how good open source has gone is how many people are using open source models because no one wants to make that trade-off.
—— Julian · [17:57]

除非你身处其中或在其周围，我觉得你不会体会到，实际情况比你想象的糟糕 10 倍。
Unless you’re in and around that, I think you don’t appreciate like it is 10x worse than whatever you think it is.
—— Julian · [19:28]