跨国深谈← 返回←知识该放哪？提示词、记忆还是微调？

知识该放哪？提示词、记忆还是微调？

关联

人物 Anant Srivastava

概念 提示词 · 记忆 · 权重 · 微调 · RAG · 智能体

企业 AI 系统里，真正难的工程问题往往不是模型本身。模型只是吃进文字、吐出文字，而你的知识散落在文件、数据库和接口里。

Anant Srivastava 在这场演讲里提出一个核心观点：

知识如何到达模型——是放进提示词、放进检索和记忆层，还是通过微调写进模型权重——大多数团队是稀里糊涂决定的，而这不是一条越爬越高的梯子，而是3种工具，对应3种不同的工作。

团队是怎么意外做出架构决策的？

路径一很常见：模型答错了，先改提示词；还不对，就去查检索系统；再不行，干脆微调模型。

更隐蔽的是路径二：即使没人明确升级方案，团队其实每天都在做这类决策。改一次提示词，就把一部分行为放进了提示词；

索引一份文档，就把一部分知识放进了记忆；挑一批训练样本，就把一些东西烧进了模型权重。

这些都是架构决策，只是没人这么称呼它。

他举了一个自己见过的真实剧本：一个内部客服助手上线后，产品经理改提示词调语气；

客服团队往检索系统里加退款政策文档；工程师把产品目录整个塞进提示词；

最后机器学习团队用半年前的客服工单微调模型。

每一步单看都合理，但当新产品目录上线、替换掉提示词里的旧目录后，助手仍然报出根本不存在的产品名——因为旧目录在微调时渗进了模型权重。

这就是那个意外：架构是被半年里的日常工作一点点堆出来的，不是设计出来的。

没有人为整体负责，也没人问过那个诊断性的问题——这个东西到底该放在哪。

提示词的职责：行为、语气、人设

提示词该放的是行为类内容：语气、人设、做事方式——特点是体量小、稳定、便于随时修改。

提示词不该存事实。

把产品目录塞进提示词，等于白白给模型塞上下文、为此付费，而且上下文太长还会碰到迷失在中间的问题——模型对放在长文本中部的信息视而不见。

判断标准很简单：这段知识是不是小而稳定，而且讲的是该怎么表现而不是该知道什么。

比如一个 SaaS 产品的客服代理：专业语气、失败3次后转人工、给出具体下一步——这些每次对话都一样，就该住在提示词里。

记忆的职责：大、常变、可引用

记忆（包括通过检索增强接入的外部知识库，和代理自己对用户的记忆）该放的是当前、庞大、可引用的知识。

当前，指变化速度比你微调的节奏还快；庞大，指塞不进提示词；可引用，指生产系统的答案必须能指出来源。

记忆不该承担行为，更不该指望靠堆上下文来补推理能力。「如果模型连推理3份文档都做不到，给它50份也没用」。

推理不行，该换模型。

另外，凡是涉及权限控制的知识——这个用户不能看那个用户的数据——必须放记忆层，因为只有在那里才能控制谁看到什么。

好的例子是代码助手：它可以访问公司全部代码仓库。你会微调模型去记住代码吗？不会，代码天天在变。

你会把整个代码库塞进提示词吗？也不会。这里他给了两条实操建议：用基于抽象语法树的代码感知分块来做切分；

给每个代码块做反规范化处理，标注它属于哪个仓库、谁能提交——用元数据过滤，才能取到真正需要的块，而不是返回一堆检索糊，把模型都搞糊涂。

微调的职责：只固化不再变化的东西

权重里该放什么？答案出人意料地简单：已经停止变化的东西。决定性的唯一指标是变化速度。

但要小心，问题往往比「没人会拿价格表去微调」更隐蔽。

一个常见翻车现场：内部文档助手答得不好，团队决定教它领域知识，于是拿文档、操作手册和流程规范去微调。

结果模型开始输出过时的信息。其实那本来是个检索问题——模型缺的是对的文档片段，团队却去微调了模型。

他的建议直白：如果模型答不对，去修检索问题，别急着自己去微调模型。

反过来的正例是内容审核、理赔处理这类模糊难题：起步时用前沿模型给建议，人工纠错。

一段时间后模式浮现——中间一大块变得稳定，人工改判率趋平；剩下一条仍有争议的边缘地带需要人。

那个稳定的中心，才是可以拿去微调的素材。微调之后还要监控漂移：中心一旦移动，麻烦就来了。

医疗理赔编码是个更具体的例子。Mount Sinai 和 IMO Health 的场景里，医生笔记要映射到 ICD-10 编码，共约 70000 个编码。

编码本身是事实、偶尔还会变、还得海量训练数据才学得动——不该微调。

该微调的是反射：让模型熟悉输入的格式、 reflexively 在格式之间做出正确选择。

微调前先问自己两个问题之一：是模型能力不够，还是为了省钱？

很多时候不是能力问题——前沿模型已经很强，通常是为了成本：有了稳定的模式，可以用小模型微调后便宜地跑量。

三者不是梯子，而是一个循环

一张表总结：提示词管行为，记忆管知道什么，权重管怎么推理。

但架构不止是静态分工，还是流动的。

上下文窗口里的信息会产生信号，有些沉淀为记忆；新会话开始时，记忆又被取出、注入上下文。

随着系统运行，那些模型应该条件反射式掌握的格式和模式，会从记忆沉淀到微调；

而微调完成后，模型已经内化了格式，你就不用每次都检索示例塞给它了——什么值得检索也随之改变。

久而久之这成了循环：代理靠干活本身，越干越熟练。

他的结论是：模型是容易的部分，真正要造的是模型外面那层挽具——把对的信息放到对的地方，并让它们流动起来。

本集带走

• 知识放哪里要按职责判断：提示词放行为，记忆放事实，微调固化已停止变化的模式和反射。
• 决定微调与否的核心指标是变化速度；答案不对先修检索，别急着微调。
• 涉及权限控制的知识必须留在记忆层，才能控制谁看到什么。
• 架构是循环不是梯子：上下文沉淀为记忆，稳定的模式沉淀为权重，微调后又改变该检索什么。
• 每次改提示词、索引文档、挑训练样本，都是在做架构决策——只是大多数团队没意识到。

今天,我要论证的是:大多数企业团队是靠偶然做出这个决策的。
Today, I’m going to argue that this is a decision that most enterprise teams make by accident.
—— Anant Srivastava · [00:53]

嗯,因为当你用支持工单微调时,产品目录已经泄漏进权重里了。
Well, the product catalog leaked into the weights when you fine-tuned it on your support tickets.
—— Anant Srivastava · [04:23]

没有人负责它,意思是每个人都拥有它的一部分。
Nobody owned it, meaning everybody owned a piece of it.
—— Anant Srivastava · [04:49]

prompt 的错误职责是存储事实。
The wrong job for the prompt is to store facts.
—— Anant Srivastava · [05:31]

通常,你会微调你的模型去学习反射,而不是事实。
You’d fine-tune your model to learn reflexes, not facts, typically.
—— Anant Srivastava · [09:43]

微调的诊断标准是:信息是否已经停止变化?
Fine-tuning is, has the information stopped changing?
—— Anant Srivastava · [16:18]

所以我想以这句话作结:模型是容易的部分。
So what I would like to conclude with is the model is the easy part.
—— Anant Srivastava · [19:31]