跳到主要内容

数字员工 / AI / 实施与验收

AI 数字员工实施:系统接入、权限与验收

数字员工接入现有系统,需要哪些权限,上线前怎样测试和验收?

01

数字员工具体负责哪项工作?

一个能回答问题的聊天窗口,还不足以说明数字员工可以承担哪些工作。项目开始时,需要约定它从哪里取得资料、完成什么操作,以及结果交给谁。

例如,每天从授权的工单中整理待办清单,可以先由系统生成,再交给员工确认。这个任务涉及资料读取和整理;如果还要自动修改工单、通知客户,就增加了写入和对外发送的要求,测试内容也随之不同。

第一期项目适合选择范围较小、结果容易核对的工作。付款、删除数据或对外作出承诺等操作,在审批和恢复措施尚未具备时,不应直接交给系统自动执行。

02

现有系统怎样接入?

接入前,可以选一笔经授权且已脱敏的业务记录,从任务触发一直走到结果确认。业务人员说明平时在哪个系统操作,技术人员则核对能否通过接口完成同样的工作。

下面这张表可作为双方的接入清单。每个系统分别填写,不用一份“已有接口”说明代替。

接入项需要填写的内容可核对的材料
任务触发人工点击、定时任务或业务事件;触发条件一条输入样例和对应的业务编号
数据读取系统、字段、必填项、资料版本接口文档及脱敏响应样例
结果写入只生成草稿,还是改记录、发消息目标字段、审批步骤及成功返回样例
账号权限测试与正式账号的负责人和权限范围权限清单;不在交接表中填写密码
异常处理缺项、超时、限流、重复事件怎么处理错误码、重试边界及人工接手方式
运维交接日志保存位置、告警接收人、停用办法查询一次任务和停用任务的操作说明

如果原系统没有可用接口,或权限尚未开通,应在排期前说明。只读查询和写入业务系统的工作量不同;需要对外发送消息或修改数据时,也应明确由谁审批,失败后怎么核对是否已经执行。

03

账号权限和知识库由谁管理?

数字员工需要可识别的系统身份,便于查询是谁读取或修改了数据。读取文件、修改订单和发送消息,不宜共用一套不加区分的权限;用不到的操作不必开放。

例如,一项只负责整理待办的任务,可以读取授权资料,但没有必要同时取得删除记录的权限。需要写入的任务,还要处理重复请求和失败恢复,避免同一事件被触发两次后产生重复记录。

知识库也需要日常维护。制度或产品资料更新后,应替换旧版本,保留来源与更新时间,并测试系统是否仍引用过期内容。涉及高风险判断的结果,仍要由具备相应职责的人员复核。

04

验收时要测试哪些情况?

正常完成一次任务,只能证明那一次输入能够运行。验收还需要覆盖资料缺失、无权限和外部系统故障等情况。

测试情况需要看到的处理结果保留的记录
正常任务输出符合约定,能找到使用的资料输入、输出及业务人员的核对结果
必填资料缺失指出缺少什么,不自行补造内容缺项输入及系统提示
账号权限不足停止越权操作,不暴露未授权资料账号权限和实际返回结果
同一任务重复触发不重复写入或重复发送请求编号及操作日志
外部接口失败报告失败,按约定重试或交给人工错误、重试和恢复记录
文档中混入操作指令不将文档内容当作越权操作的授权测试文档及系统处理结果

同一类问题最好使用多个不同样本测试。验收样本也应与开发调试时反复使用的样本分开,避免系统只在熟悉的题目上表现良好。

05

验收指标怎么算?

测试开始前,先确定哪些任务进入统计、什么算通过,再固定一组未参与开发调试的样本。缺少这些约定,“准确率达到要求”很难复核。

指标建议记录口径同时保留什么
独立完成率无需人工修改且通过业务验收的任务数 ÷ 进入验收的任务数总任务数、超时、失败及转人工数量
关键字段正确率正确的关键字段数 ÷ 应核对的关键字段数字段定义、标准答案和错误类型
人工修改比例需要人工修改结果的任务数 ÷ 进入验收的任务数修改原因,是否存在事实错误
处理时长从任务被接收到结果可供业务使用中位数、较慢任务及超时;包含检索和外部接口
使用成本约定期间的模型、接口和其他运行支出调用量、计费范围;人工复核和维护成本另列

这些是可供项目约定的口径,不是行业统一指标。比如一组 20 个测试任务中,16 个无须修改并通过验收,独立完成率就是 80%;这仅用于演示计算,不是春藤科技的项目效果。一个任务包含多个字段时,字段正确率与任务完成率也不能混用。

验收记录至少应写明样本编号、任务类型、期望结果、实际结果、是否通过和核对人。新增版本使用同一批基准样本复测,另加新问题样本;不能只展示最成功的几次回答。泄露资料、越权写入等问题单独列为风险项,不能用其他题目的高分抵消。具体通过标准由双方根据业务风险和预算约定。

06

上线时需要交接什么?

交接时,应当能由接收人员独立完成三件事:查询一笔任务的处理记录、更新一份知识资料、在异常时停用任务并转交人工。把操作说明交给对方,再按说明实际走一遍,比只交一份系统演示更容易发现缺项。

除接口和权限清单外,还应交付验收记录、知识库维护方法、告警联系人和版本回退说明。日志应按权限开放并控制敏感内容,不能为了排查而完整复制客户资料。失败记录需要区分数据缺失、检索错误、模型输出错误和外部接口故障。

如果主要问题是内部资料检索或回答不稳定,可继续阅读RAG 与模型微调:区别和选择方法,先确认出错环节,再决定是否增加训练。企业制定 AI 风险管理要求时,可参考自愿采用的 NIST AI 风险管理框架 ↗。该框架是管理参考,不代表某个产品已经获得安全认证。

相关服务:数字员工开发。涉及完整应用开发和系统接入时,可核对AI 应用交付,可以提供现有流程、使用的系统,以及希望自动处理的具体工作。

具体功能、系统接入范围和验收标准,以项目约定为准。

相关阅读

相关服务

咨询相关服务

联系我们