数字员工具体负责哪项工作?
一个能回答问题的聊天窗口,还不足以说明数字员工可以承担哪些工作。项目开始时,需要约定它从哪里取得资料、完成什么操作,以及结果交给谁。
例如,每天从授权的工单中整理待办清单,可以先由系统生成,再交给员工确认。这个任务涉及资料读取和整理;如果还要自动修改工单、通知客户,就增加了写入和对外发送的要求,测试内容也随之不同。
第一期项目适合选择范围较小、结果容易核对的工作。付款、删除数据或对外作出承诺等操作,在审批和恢复措施尚未具备时,不应直接交给系统自动执行。
现有系统怎样接入?
接入前,可以选一笔经授权且已脱敏的业务记录,从任务触发一直走到结果确认。业务人员说明平时在哪个系统操作,技术人员则核对能否通过接口完成同样的工作。
下面这张表可作为双方的接入清单。每个系统分别填写,不用一份“已有接口”说明代替。
| 接入项 | 需要填写的内容 | 可核对的材料 |
|---|---|---|
| 任务触发 | 人工点击、定时任务或业务事件;触发条件 | 一条输入样例和对应的业务编号 |
| 数据读取 | 系统、字段、必填项、资料版本 | 接口文档及脱敏响应样例 |
| 结果写入 | 只生成草稿,还是改记录、发消息 | 目标字段、审批步骤及成功返回样例 |
| 账号权限 | 测试与正式账号的负责人和权限范围 | 权限清单;不在交接表中填写密码 |
| 异常处理 | 缺项、超时、限流、重复事件怎么处理 | 错误码、重试边界及人工接手方式 |
| 运维交接 | 日志保存位置、告警接收人、停用办法 | 查询一次任务和停用任务的操作说明 |
如果原系统没有可用接口,或权限尚未开通,应在排期前说明。只读查询和写入业务系统的工作量不同;需要对外发送消息或修改数据时,也应明确由谁审批,失败后怎么核对是否已经执行。
账号权限和知识库由谁管理?
数字员工需要可识别的系统身份,便于查询是谁读取或修改了数据。读取文件、修改订单和发送消息,不宜共用一套不加区分的权限;用不到的操作不必开放。
例如,一项只负责整理待办的任务,可以读取授权资料,但没有必要同时取得删除记录的权限。需要写入的任务,还要处理重复请求和失败恢复,避免同一事件被触发两次后产生重复记录。
知识库也需要日常维护。制度或产品资料更新后,应替换旧版本,保留来源与更新时间,并测试系统是否仍引用过期内容。涉及高风险判断的结果,仍要由具备相应职责的人员复核。
验收时要测试哪些情况?
正常完成一次任务,只能证明那一次输入能够运行。验收还需要覆盖资料缺失、无权限和外部系统故障等情况。
| 测试情况 | 需要看到的处理结果 | 保留的记录 |
|---|---|---|
| 正常任务 | 输出符合约定,能找到使用的资料 | 输入、输出及业务人员的核对结果 |
| 必填资料缺失 | 指出缺少什么,不自行补造内容 | 缺项输入及系统提示 |
| 账号权限不足 | 停止越权操作,不暴露未授权资料 | 账号权限和实际返回结果 |
| 同一任务重复触发 | 不重复写入或重复发送 | 请求编号及操作日志 |
| 外部接口失败 | 报告失败,按约定重试或交给人工 | 错误、重试和恢复记录 |
| 文档中混入操作指令 | 不将文档内容当作越权操作的授权 | 测试文档及系统处理结果 |
同一类问题最好使用多个不同样本测试。验收样本也应与开发调试时反复使用的样本分开,避免系统只在熟悉的题目上表现良好。
验收指标怎么算?
测试开始前,先确定哪些任务进入统计、什么算通过,再固定一组未参与开发调试的样本。缺少这些约定,“准确率达到要求”很难复核。
| 指标 | 建议记录口径 | 同时保留什么 |
|---|---|---|
| 独立完成率 | 无需人工修改且通过业务验收的任务数 ÷ 进入验收的任务数 | 总任务数、超时、失败及转人工数量 |
| 关键字段正确率 | 正确的关键字段数 ÷ 应核对的关键字段数 | 字段定义、标准答案和错误类型 |
| 人工修改比例 | 需要人工修改结果的任务数 ÷ 进入验收的任务数 | 修改原因,是否存在事实错误 |
| 处理时长 | 从任务被接收到结果可供业务使用 | 中位数、较慢任务及超时;包含检索和外部接口 |
| 使用成本 | 约定期间的模型、接口和其他运行支出 | 调用量、计费范围;人工复核和维护成本另列 |
这些是可供项目约定的口径,不是行业统一指标。比如一组 20 个测试任务中,16 个无须修改并通过验收,独立完成率就是 80%;这仅用于演示计算,不是春藤科技的项目效果。一个任务包含多个字段时,字段正确率与任务完成率也不能混用。
验收记录至少应写明样本编号、任务类型、期望结果、实际结果、是否通过和核对人。新增版本使用同一批基准样本复测,另加新问题样本;不能只展示最成功的几次回答。泄露资料、越权写入等问题单独列为风险项,不能用其他题目的高分抵消。具体通过标准由双方根据业务风险和预算约定。
上线时需要交接什么?
交接时,应当能由接收人员独立完成三件事:查询一笔任务的处理记录、更新一份知识资料、在异常时停用任务并转交人工。把操作说明交给对方,再按说明实际走一遍,比只交一份系统演示更容易发现缺项。
除接口和权限清单外,还应交付验收记录、知识库维护方法、告警联系人和版本回退说明。日志应按权限开放并控制敏感内容,不能为了排查而完整复制客户资料。失败记录需要区分数据缺失、检索错误、模型输出错误和外部接口故障。
如果主要问题是内部资料检索或回答不稳定,可继续阅读RAG 与模型微调:区别和选择方法,先确认出错环节,再决定是否增加训练。企业制定 AI 风险管理要求时,可参考自愿采用的 NIST AI 风险管理框架 ↗。该框架是管理参考,不代表某个产品已经获得安全认证。
相关服务:数字员工开发。涉及完整应用开发和系统接入时,可核对AI 应用交付,可以提供现有流程、使用的系统,以及希望自动处理的具体工作。
相关阅读
相关服务
