Korea Platform
System
咨询

数据准备指南

内部知识检索:选模型之前先梳理这些

梳理准备引入企业RAG时需要确认的文档、权限、回答依据和评估问题。

本指南内容

如果您正在考虑引入一套能检索内部文档并据此作答的AI,首先要问的也许并不是选用哪个模型。先理清谁能查看哪些资料、现行版本存放在哪里、怎样的回答才算好回答,试点验证的范围就能定得更具体。

在档案室把旧文件夹分类装箱的两名员工

01. 先聚焦反复出现的问题

与其一开始就接入企业内部的全部知识,不如先选定某个部门里反复被问到的问题。业务规章制度、产品说明、运营手册这类负责人和依据文档都很明确的领域,适合作为起点。

不仅要看查找答案花费的时间,也要考虑答错时可能造成的影响。涉及审批或需要判断的业务,应先确定由负责人把关的环节。

需梳理的事项

  • 实际用户经常提出的问题清单
  • 作为正确答案依据的文档及负责部门
  • 不直接作答、转交负责人处理的问题

02. 确认文档状态和以哪一版为准

如果同一份制度文件有多个版本混在一起,或者仅凭标题难以判断文档适用于哪些对象,检索结果也可能让人无所适从。应梳理清楚每份文档的现行版本、施行日期、文档负责人和更新周期。

表格、图片、扫描件等不同格式的资料,内容提取方式和质量检查流程可能各不相同。起步时,可以先选出几类有代表性的文档,审核其处理结果。

需梳理的事项

  • 区分正式依据文档与存档文档
  • 确认文件格式及内容能否提取
  • 文档修订或删除时同步更新检索范围的流程

03. 检索也要遵循现有权限

即使只提供一个检索框,也并不意味着所有文档都能向所有用户展示。需要确认查阅范围如何按部门、角色和项目划分,并据此设计在检索环节执行的权限规则。

问答记录、传递给外部模型的信息以及运维人员可查阅的记录,其范围同样需要商定。数据存放在哪里、以什么方式提供,要根据实际的运营政策来决定。

04. 回答与依据一并审核

可以考虑把回答与原文位置、依据文档关联起来,方便用户核对回答的出处。不过即使标出了出处,回答内容与原文是否一致仍需另行确认。

对于在资料中找不到依据的问题,应设计为暂不作答或引导用户联系负责人。过时的文档、相互冲突的规章制度以及超出权限的请求,都应纳入评估。

05. 用小规模评估集进行试点验证

准备一套评估集,把典型问题、预期回答和需要核对的出处放在一起。除了容易检索到的问题,还应加入表述模糊、资料中查不到答案,以及需要对比多份文档才能回答的问题。

试点时,需检查依据是否恰当、检索结果是否遵守权限、哪些问题暂不作答,并收集用户反馈。再根据结果,逐步扩大文档范围和问题类型。

咨询前,准备到这一步就足够了。

提前梳理好以下内容,可以在初期讨论中更快地明确范围。即使尚未全部准备好,也可以先从当前情况谈起。

  • 优先应用的部门和问题类型
  • 依据文档的负责人、版本和更新方式
  • 按用户划分的查阅权限和数据策略
  • 评估问题和负责人的审核标准
  • 试点之后的运维负责人

KPS项目指南 · 具体的技术方案和适用条件因需求而异。

与我们一起梳理您当前的问题。

从最初的想法到运营,KPS全程参与探讨。