Korea Platform
System
咨询

小范围验证指南

第一个AI项目:从小范围验证开始

梳理AI试点验证要确定的业务范围、评估标准、人工审核和运行条件。

本指南内容

仅有“引入AI”这样的目标,很难评估项目成果。要明确AI支持的是哪项业务的哪个环节,并在小范围内确认用户能够接受的结果和运行条件。

在客服中心培训室试用新工具的客服人员和记录结果的项目负责人

01. 选定一个业务单元

从文档分类、问答、草稿撰写、视频事件确认这类能够明确结果和审核人员的业务中挑选候选业务。试着用一句话说清这项业务的输入和输出分别是什么。

即便是负责人反复处理的工作,其中例外情况多或需要承担责任的决策环节,也要另设审核流程。同时确定哪些步骤自动处理、哪些步骤交给人来完成。

02. 区分要使用和要排除的数据

确认是否有符合目的的数据,以及是否具备使用这些数据所需的权限和条件。如果涉及个人信息或业务敏感资料,要先商定提供范围和处理方式。

在难以使用真实数据的初期阶段,可以先用匿名化资料或有限的样本评估业务流程。样本上得到的结果能否适用于真实环境,还需要后续验证。

03. 共同确定成功与失败的标准

不只看节省了多少时间,也要检查结果的准确性、依据、审核负担和例外处理。哪些结果可以接受、哪些结果需要修改,要与负责人统一标准。

除了预计AI能处理好的输入,也要准备资料不足时的输入和格式不同的输入。把发现的局限记录下来,作为确定下一阶段范围的依据。

需梳理的事项

  • 典型输入和预期结果
  • 需要负责人审核的条件
  • 失败或暂缓时回到原有业务方式的路径

04. 设计由人确认的环节

在摘要或草稿对外发送、或对业务系统做出更改之前,要确定由谁确认。还要考虑提供一个界面,让用户能对照原文和处理结果并加以修改。

如果系统会调用业务工具,就要明确允许使用的功能和可更改的范围。审批记录和执行结果如何留存,也要与运维负责人商定。

05. 根据试点验证结果决定下一步

验证结果应当足以支撑下一步决策,即决定扩大、完善还是停止。评估后续范围时,要把额外的数据整理工作、用户培训、与现有系统的对接以及运维成本都考虑进去。

确认是否达到用户能够实际使用的水平,再逐步扩大适用范围。同时记下模型或数据变化时需要重新检查的项目。

咨询前,准备到这一步就足够了。

提前梳理好以下内容,可以在初期讨论中更快地明确范围。即使尚未全部准备好,也可以先从当前情况谈起。

  • 要验证的一项业务及其负责人
  • 可用的资料和数据范围
  • 判断结果的标准和典型案例
  • 审核、审批和例外处理流程
  • 决定扩大或停止的条件

KPS项目指南 · 具体的技术方案和适用条件因需求而异。

与我们一起梳理您当前的问题。

从最初的想法到运营,KPS全程参与探讨。