跨国深谈← 返回←Tokens 进、互动出：推荐系统正在像 LLM 一样扩展

Tokens 进、互动出：推荐系统正在像 LLM 一样扩展

关联

人物 Devansh Tandon

公司 Meta · Instagram · YouTube · Spotify · DoorDash

概念 推荐系统 · LLM · 语义 ID · 算力扩展 · 推理 · 预训练 · 后训练 · 微调 · 思维链

这一集是一场技术演讲,主题是「Tokens In, Engagement Out:训练 LLM 推荐系统」。主角是 Meta 的 Meta Recommendations Research 团队负责人——他的团队负责训练驱动 Instagram、Facebook 广告等 Meta 全家桶应用的前沿模型和推荐系统;来 Meta 之前他在 Google 待了很久,参与过 DeepMind 和 YouTube 的核心机器学习团队。去年他在 AI Engineer 讲过 semantic ID 和生成式检索,这两个想法过去一年已经在 YouTube、Meta、Spotify、DoorDash 等公司从研究走向了规模化生产系统 。

他今天要论证两件事:推荐系统的扩展方式和 LLM 一样,而且这个行业在这条扩展曲线上还非常早期;以及 LLM 推荐系统将成为 AI 最大的消费级应用之一 。

推荐系统也有自己的「扩展定律」

LLM 这波浪潮的起点是 2020 年那篇里程碑式的扩展曲线论文(当时 Dario 还在 OpenAI,Anthropic 还不存在):模型规模、数据、训练算力越大,损失就在对数线性尺度上可预测地下降——正是这条干净的曲线引发了 AI 前沿竞赛,支撑了今天的巨额资本开支 。

事实证明,推荐系统遵循非常相似的幂律扩展曲线。实际上,在这一波 LLM 之前,推荐系统就是大科技公司里最大的生产级 ML 模型,至今仍服务于十亿以上日活的规模。x 轴同样是数据、算力、模型规模,y 轴是推荐质量的提升——离线评估里是净熵或 AUC 增益,上线后就是互动和收入影响 。

这不只是学术研究。来自 Meta 近期财报的真实例子:Instagram Reels 一个季度观看时长同比增长 30%,靠的优化包括简化排序架构以支持高效模型扩展、把用于训练 Instagram 的用户互动序列长度翻一番、并增加每次互动的丰富度 ——这就是 LLM 幂律扩展曲线的直接对应。

驱动这一切的是一个「tokens 进、互动出」的飞轮:训练模型 → 推理生成更好的推荐 → 驱动用户互动和停留时长 → 转化为广告或订阅收入 → 为下一轮训练买单。扩展曲线上的每一步,就是绕这个飞轮的一圈 。

行业正在爬的四条 S 曲线

他把推荐系统的演进分成四个范式 :

1. 传统推荐系统:聚焦特征工程和用户/内容嵌入,双塔、稀疏网络、排序器。大多数生产系统还停在这条曲线上。它不会消失,但特征工程这类工作会被智能体(而不是真正的 ML 工程师)通过自动研究来加速。
2. LLM-inspired(受 LLM 启发):端到端扩展模型,代表是 HSTU 和 one-rec 论文。业界领先的推荐系统大都运营在这一层。
3. LLM-native(LLM 原生):拿一个能理解、能推理的基础模型,适配到推荐任务上,代表是 Tiger 和 Plum 论文。
4. Agentic(智能体编排):LLM 在一个循环中编排推荐系统——智能体规划、检索、排序、批评推荐结果,再调用模型细化后交付。他拿编码智能体做类比:LLM 原生是在提升模型核心能力(从 Opus 4.5 到 4.8),agentic 是在改进 Claude Code 或 Codex 背后的编码 harness 。

公司们是在这四条曲线上并行扩展的:大多数推荐今天处于 LLM-inspired、正试图毕业到 LLM-native,同时还有很多公司仍在爬传统那条曲线 。

构建 LLM 推荐器的配方:三步、五层

配方很简单,三步:先把内容 token 化、为你的领域创建一门语言;再把 LLM 适配成既懂英语又懂这门领域语言的「双语模型」;最后用用户信息 prompt 这个模型,它会直接从内容语料库中解码出推荐 。

展开成一个「五层蛋糕」,从底往上 :

• Semantic ID(语义 ID):把内容语料库转换成 LLM 能理解、能推理的 token。为什么要 token 化?两个原因:一是给模型一个稳定的表示去学习,而不是只能死记硬背的不断变化的 hash;二是压缩——一个三分钟的 Instagram Reel 视频如果不压缩会是 10,000 个 token,会很快撑爆上下文窗口,必须压到大约 10 个 token 。做法上,相似内容共享 token 前缀:比如关于网球的几条 Reels,第一个 token 代表体育、后两个代表网球、最后一个 token 区分具体视频 。这个方向已被业界大量采纳,很多团队只是把传统模型里的 hash ID 换成 SID 就看到了不错的效果。
• 基础 LLM:开放权重模型或内部第一方模型都行。
• 预训练:在英语和推荐 token 之间架桥。比如让模型看着「semantic ID 为 ABC 的视频」,输出它的文字描述(「温布尔登一记瞬间成为标志性画面的一击」);或者在用户交互历史里遮住部分 semantic ID,让模型学会预测——理解哪些视频是被一起观看的 。
• 后训练:把模型引向推荐任务,比如重排序——输入一堆用户信息和 30 个候选视频,LLM 排序器排出前五条。
• 表面微调:针对具体产品表面做轻量微调即可。这个范式最令人兴奋的一点是:大部分算力在所有产品表面之间共享,不必为每个表面从头训练单独模型 。

双语模型的可解释性:算法第一次能「说清楚自己为什么推荐这个」

后训练出的模型是双语的——既懂英文又懂推荐——所以你可以直接查看它的思维链(模型一步步推理的过程),理解它为什么做出那样的决策:它知道用户的主题兴趣(喜剧、美食、DIY、健康),知道用户的互动风格和偏好的创作者,然后基于这条推理链重新排序 。

这打开了一种全新的产品面:用户可以用自然语言引导自己的信息流。Instagram 上的「你的算法」功能就是例子——刷 Reels 时点进去,能看到算法怎么理解你和你的兴趣,然后添加或删除兴趣、用自然语言跟它对话。

比如你添加「关注 FIFA 世界杯」这个兴趣,模型结合你的用户历史,就会解码出为你个性化的推荐(比如梅西最近踢进的那个任意球)。类似的还有 Spotify 的提示词歌单、YouTube 的自定义信息流、Ask DoorDash。他判断:我们会看到从黑盒推荐算法,转向让用户对算法有更多控制权、算法变得更可交互、更可引导——用户用语言表达目标来引导算法,而不仅仅是点赞或评论 。

最反直觉的一点:LLM 推荐器比 AI 聊天便宜 100 倍

那个「token 进、互动出」的飞轮,内容信息流和 AI 聊天应用共享的是同一个:训练 → 推理 → 互动 → 变现。这是评估任何消费应用的透镜——训练端看它把算力转化为前沿模型的能力,推理端看推理 token 能多好地转化为互动和变现 。

但对比之下,LLM 推荐器在结构上更省 token :

• 内容信息流(Instagram、Facebook、TikTok、YouTube)用的模型约 10 亿到 100 亿活跃参数;AI 聊天应用(Gemini、ChatGPT、Claude)服务的是 100 亿到 1000 亿活跃参数的大模型。
• 信息流的输出是一个语义 ID token——指向已有内容的指针,因为内容是创作者上传的,供应实际上免费;而 AI 聊天必须自己解码每一个内容 token,每一轮交互输出几千个 token,每个 token 都要在推理时由应用自己「制造」出来。

结果:生成一小时消费者互动所需的推理算力成本,内容信息流比 AI 聊天应用便宜高达 100 倍或更多——因为它们解码的是指向内容的指针,而不是内容本身 。

为什么这是最大的消费级 AI 应用之一

按日活看排名前十的应用,十分之四是内容信息流;而信息流在互动和变现两端的增长,几乎全部由推荐器和广告模型驱动——这些都将被 LLM 推荐器彻底改变 。这是一个非常大、且非常省 token 的 AI 消费级应用。接下来一年左右,他预计会看到可引导、可交互的推荐,推荐结果的解释,以及更多让用户掌控自己体验的新产品面,还有关于消费级智能体和推荐智能体的 exciting 研究 。

本集带走

• 推荐系统遵循和 LLM 一样的幂律扩展曲线:加大模型、数据、算力,质量可预测地提升——Meta 用「互动序列翻倍」这类做法在真实产品上兑现了(Reels 观看时长同比 +30%)。
• 构建 LLM 推荐器三步走:token 化内容造一门领域语言 → 把 LLM 训成双语模型 → 用用户信息 prompt 它直接解码推荐;大部分算力在所有产品表面间共享,不必每个表面从头训模型。
• Semantic ID 的两大价值:给模型稳定的可学习表示(替代只能死记的 hash ID),以及把内容压缩到约 10 个 token(否则一条三分钟视频就是上万个 token)。
• 双语模型带来可解释和可引导:能直接读模型的思维链看懂推荐理由;用户可以用自然语言增删兴趣、引导信息流,而不只是点赞。
• 推荐器比 AI 聊天结构性省 token:它解码的是指向创作者内容的指针,聊天应用则要自己制造每个 token——生成一小时互动的推理成本可相差 100 倍以上。
• 四个范式并行爬坡:传统 → LLM-inspired → LLM-native → agentic;领先者在第二三层,智能体循环编排推荐(规划、检索、排序、批评)是下一个研究方向。

第一个是,推荐系统的扩展方式和 LLM 一样,而且这个领域在扩展曲线上还处于非常早期的阶段。
The first is that recommendation systems scale just like LLMs do, and that the field is very early in that scaling curve.
—— Devansh Tandon · [00:30]

这条干净且可预测的曲线真正引发了 AI 前沿竞赛,因为你可以预测模型质量和能力的提升会是什么样子,这正是当今支撑巨额资本开支和 AI 建设浪潮的基础。
And this clean and predictable curve is what really set off the race for the AI frontier, because you can forecast what model quality and capability improvements will look like, and this is what’s underwriting the massive CapEx investments and the AI build-out today.
—— Devansh Tandon · [02:42]

我不认为这条曲线会消失,但这里的模型开发会因为自动研究而加速,像特征工程这类事情将由智能体而不是真正的 ML 工程师来处理。
I don’t think this curve is going to go away, but model development here will be accelerated with auto-research, and things like feature engineering will be handled by agents rather than real ML engineers.
—— Devansh Tandon · [06:04]

这个范式令人兴奋的地方在于,大部分算力是在所有产品表面之间共享的,所以你不必为每个产品表面从头训练单独的模型。
The exciting thing about this paradigm is most of the compute is shared across all of the product surfaces, so you don’t have to train individual models from scratch for every product surface.
—— Devansh Tandon · [09:24]

所以我们会看到这个转变,我认为,是从黑盒推荐算法转向给用户更多对算法的控制权,让算法变得更可交互、更可引导。
And so we’re gonna see this shift, I think, from black box recommendations algorithms to giving users more control over their algorithm and algorithms becoming more interactive and steerable.
—— Devansh Tandon · [12:54]

我非常兴奋的是,用户可以用语言表达自己的目标来引导算法,而不仅仅是点赞或评论。
I’m really excited that users can direct it towards their own goals that’s expressed in language rather than just likes or comments.
—— Devansh Tandon · [13:07]

所以如果你尝试比较内容信息流和 AI 聊天应用,我认为 LLM 推荐器在结构上其实比 AI 聊天更省 token。
And so if you try to compare content feeds and AI chat apps, I think that LLM recommenders are actually structurally more token efficient than the AI chat.
—— Devansh Tandon · [14:46]

存在一个巨大的结构性差距:内容信息流要便宜得多,比 AI 聊天应用便宜高达 100 倍或更多,因为它们解码的是指向内容的指针,而不是内容本身。
there’s a huge structural gap where content feeds are significantly cheaper, up to 100 times or more cheaper than AI chat apps because they’re decoding pointers to content rather than content itself.
—— Devansh Tandon · [16:10]