如果您正在考虑引入一套能检索内部文档并据此作答的AI,首先要问的也许并不是选用哪个模型。先理清谁能查看哪些资料、现行版本存放在哪里、怎样的回答才算好回答,试点验证的范围就能定得更具体。

01. 先聚焦反复出现的问题
与其一开始就接入企业内部的全部知识,不如先选定某个部门里反复被问到的问题。业务规章制度、产品说明、运营手册这类负责人和依据文档都很明确的领域,适合作为起点。
不仅要看查找答案花费的时间,也要考虑答错时可能造成的影响。涉及审批或需要判断的业务,应先确定由负责人把关的环节。
需梳理的事项
- 实际用户经常提出的问题清单
- 作为正确答案依据的文档及负责部门
- 不直接作答、转交负责人处理的问题
02. 确认文档状态和以哪一版为准
如果同一份制度文件有多个版本混在一起,或者仅凭标题难以判断文档适用于哪些对象,检索结果也可能让人无所适从。应梳理清楚每份文档的现行版本、施行日期、文档负责人和更新周期。
表格、图片、扫描件等不同格式的资料,内容提取方式和质量检查流程可能各不相同。起步时,可以先选出几类有代表性的文档,审核其处理结果。
需梳理的事项
- 区分正式依据文档与存档文档
- 确认文件格式及内容能否提取
- 文档修订或删除时同步更新检索范围的流程
03. 检索也要遵循现有权限
即使只提供一个检索框,也并不意味着所有文档都能向所有用户展示。需要确认查阅范围如何按部门、角色和项目划分,并据此设计在检索环节执行的权限规则。
问答记录、传递给外部模型的信息以及运维人员可查阅的记录,其范围同样需要商定。数据存放在哪里、以什么方式提供,要根据实际的运营政策来决定。
04. 回答与依据一并审核
可以考虑把回答与原文位置、依据文档关联起来,方便用户核对回答的出处。不过即使标出了出处,回答内容与原文是否一致仍需另行确认。
对于在资料中找不到依据的问题,应设计为暂不作答或引导用户联系负责人。过时的文档、相互冲突的规章制度以及超出权限的请求,都应纳入评估。
05. 用小规模评估集进行试点验证
准备一套评估集,把典型问题、预期回答和需要核对的出处放在一起。除了容易检索到的问题,还应加入表述模糊、资料中查不到答案,以及需要对比多份文档才能回答的问题。
试点时,需检查依据是否恰当、检索结果是否遵守权限、哪些问题暂不作答,并收集用户反馈。再根据结果,逐步扩大文档范围和问题类型。
咨询前,准备到这一步就足够了。
提前梳理好以下内容,可以在初期讨论中更快地明确范围。即使尚未全部准备好,也可以先从当前情况谈起。
- 优先应用的部门和问题类型
- 依据文档的负责人、版本和更新方式
- 按用户划分的查阅权限和数据策略
- 评估问题和负责人的审核标准
- 试点之后的运维负责人
KPS项目指南 · 具体的技术方案和适用条件因需求而异。


