跨国深谈← 返回←从40份文件到8万份文件:企业AI落地卡在哪

从40份文件到8万份文件:企业AI落地卡在哪

关联

人物 Jeff Koss · Leo Platzer

公司 DZ Labs

概念 聊天机器人 · 智能体 · RAG · 向量数据库 · 上下文 · 数据质量 · 元数据 · 分类体系 · SharePoint · 数据切片

很多公司的AI项目都卡在同一个地方：小规模试点很顺利，一到真实规模就崩。

Jeff Koss和Leo Platzer来自DZ Labs,这场演讲用一家虚构但典型的制造企业，拆解了非结构化数据是怎么拖垮企业聊天机器人的。

【背景】DZ Labs 于去年夏天被数据治理公司 Collibra 收购。

为什么40个文件的演示很容易,8万个文件就完蛋?

他们的示例公司North River Manufacturing有4万名员工,分布在20个国家,SharePoint里堆了多年积累的数百万份文档。

今年的目标是做一个法律运营聊天机器人,让法务和采购团队实时查询:某个供应商的终止条款是什么?

哪些协议本季度到期?

团队先拿40份精心挑选的文件做了试点:解析、分块、文字识别、向量化,效果不错。

但一放大到8万多份文件,问题全来了:找不到需要的文件,不知道敏感数据藏在哪,SharePoint上的数据质量没法信。

结果是聊天机器人回答错误、敏感信息泄露、上线遥遥无期。

Jeff举了另一家电信公司的例子:六七个领域专家人工整理2万个网页文件,根本忙不过来。

AI打标签:让机器先搞清楚每个文件是什么

DZ的做法是给文件自动生成元数据。

演示中,他们把339份文件导入系统,然后建一个分类树——可以手动定义标签,可以让AI自动建议标签,还能通过提示词告诉大模型该怎么判断每个文件。

更聪明的是条件分支:只有被判定为法律和合同的文件,才进一步提取合同类型——是供应商合同、保密协议还是工料合同。

AI打完标签还会给出证据:它在文档哪个位置找到了判断依据,置信度是100%还是95%。人不满意可以点赞点踩,随时纠正。

靠几个过滤器,他们把339份文件快速筛到20份。

系统还能扫描敏感信息——不只个人信息,他们甚至在演示中现场配置了芬兰国民身份号的识别,连芬兰语的相关词汇都自动加上了,减少误报。

脏数据的真正代价:80%的上下文可能是垃圾

Leo的部分回答了一个关键问题:数据清洗到底值多少钱?

他把向量检索比作Slack消息:今天有人这么说,明天有人那么说,真相随时间变化。

如果过期版本留在知识库里,检索出来的前几条结果全是无关信息。

他给出的数字很惊人:假设你有1000份文件,其中30%是过期或重复的,那么智能体回答问题时用到的上下文,最多可能有80%被这些无用信息占据。

在同样的检索问答任务上做评测,清理数据后召回率几乎翻倍,任务完成的准确率提升10%到15%。

Leo强调,这个提升和具体应用场景无关——去重和保鲜是万能药。

给AI智能体写地图,省下翻文件的力气

Leo还现场演示了一个新玩法:用DZ的软件开发工具包给整个SharePoint站点生成一份上下文清单。

每个文件夹配一份说明文件,写清楚里面有什么类型的文档、关键主题是什么、什么时候该用这个文件夹、可以问哪些问题。

这样一来,Claude Code或Codex这类编程智能体不用一个个打开文件去猜,看一眼清单就知道该去哪找。这也顺带降低了智能体的计算开销。

数据准备好了,还得一直保持新鲜

最后一个容易忽视的环节是维护。

DZ的数据切片可以按计划自动刷新:SharePoint上有新文件加入或旧文件删除,系统会定时同步到数据产品和向量数据库里,保证聊天机器人不会用着过期知识。

对North River这样的公司,效果是数据准备时间从4个月压缩到几天,聊天机器人准确率提升,合规风险也降了——敏感数据在哪里一清二楚,上线前全部过滤掉。

本集带走

• AI试点成功的最大杀手是规模:40份文件和8万份文件是完全不同的工程问题。
• 30%的脏数据可能污染智能体80%的上下文;去重和保鲜与具体场景无关,是普适的提升手段。
• 清理后,检索召回率几乎翻倍,任务准确率提升10%–15%。
• 给文件夹写机器可读的上下文说明,能大幅降低智能体的搜索开销。
• 数据不是一次性准备好就完事,需要定时自动刷新,否则聊天机器人很快过期。

那么有可能你的智能体用来回答问题的实际上下文中有高达 80% 被过时信息填满。
It can happen that up to 80% of your actual context your agent uses to answer a question is filled up with stale information.
—— Leo Platzer · [17:02]

这意味着它实际上使用了 80% 完全冗余、无用的信息和知识。
Which means it actually uses 80% of completely redundant, useless information and knowledge.
—— Leo Platzer · [17:12]

我们看到的是，看召回率第一的话，我们几乎把召回率翻了一倍，并且整体上把任务完成的准确率提高了 10% 到 15%。
And what we saw is that if we look at recall one, I mean, we pretty much double the recall and overall improve our accuracies of task completion between 10% and 15%.
—— Leo Platzer · [17:40]

他们花太多时间找文件，而不是写代码、做自己真正喜欢做的事。
They’re spending too much time looking for the files instead of writing code and doing things that they really like to do.
—— Jeff Koss · [05:18]

基本上，他们能够把四个月的数据准备工作缩短到几天。
So basically, they were able to go from four months of data prep work to down to days.
—— Jeff Koss · [14:16]