一个物业团队做了报修助手。演示里,住户说洗衣机漏水,助手能询问房号并生成工单草稿。试点第一天却出现三个问题:住户隔天回来后,助手把两个报修混在一起;工单系统超时后出现重复记录;值班员没看到异常交接。上线验收可以围绕同一份虚构报修记录展开,把这三个问题分别复现,再跑一次完整流程。
先给会话、工单和用户分配不同标识
记录用户在当前会话明确提供了哪些字段、哪条工单是当前目标,以及这些信息来自用户还是工具。会话中可以保留最近几轮问答。需要跨会话续接的工单编号、处理状态和已确认地址则由业务系统保存。重开会话时从当前用户有权读取的工单恢复状态,并再次检查可变字段。遇到多个候选时,列出不含敏感细节的区分信息,等用户选定。
做一张上下文表,记录字段、读取来源、权限、有效期和冲突处理方式。比如地址以本次选中的工单为准,用户改口后需要重新确认并更新草稿,旧对话只用于追溯。摘要只记已确认的事实、待确认问题和下一步。模拟把一段长会话压缩,再打开新会话检查工单编号、权限和不确定信息是否仍然正确。用另一个测试账号发出同样的查询,验证用户切换后不会继承原记录。
把工具错误变成可以复现的案例
把读工单、建草稿和提交拆开。每个工具定义必填字段、返回类型和常见错误。用同一套模拟数据测试成功、参数缺失、权限不足、响应超时和返回结构变化。记录请求标识、工具名、耗时、状态码和脱敏后的字段校验结果。值班同事应能按标识找到失败环节,不必翻看整段对话。
如果创建动作在客户端超时,先用请求标识查询业务系统是否已生成草稿。支持幂等键时,同一次业务动作的重试应沿用原键。服务端已经成功时直接读取已有结果。没有办法判断时进入人工确认队列。读取请求可用有上限的重试,提交类动作要根据状态恢复设计。对每种错误都准备一段用户能理解的反馈,例如“已收到报修信息,工单是否提交成功正在核对”,避免在后台状态未知时承诺成功。
用测试环境演练一笔异常工单
准备两条报修,分别为洗衣机漏水和门禁故障。先用测试账号开一条洗衣机草稿,然后发起门禁咨询。让助手回到第一条,确认它使用正确工单与地址。接着模拟服务器已写入但客户端超时,重放同一请求。核对业务系统里只有一条草稿,回复和后台状态一致。最后让另一个测试账号尝试读取原草稿,检查读取被拒绝且回复中没有地址或联系方式。
把每个用例写成起始数据、动作、预期、实际结果和证据路径。上下文问题用跨会话记录定位。工具问题用单次请求和返回复现。若运行日志显示工具正常完成,但回复把草稿说成已派单,则检查模型是否把返回值中的两个状态混用。把“草稿”“已提交”“已分派”写成明确的状态,并在回归里分别断言。
定义从试点到放量的门槛
先限制试点的楼栋和操作范围,安排可接手的值班人员。约定工单正确率、重复率、异常转人工覆盖率和响应时间的测量窗口。定义什么算一笔请求,以及重试如何计数。测试结果要写明样本大小和高风险用例。即使整体正确率不错,只要发生跨账号读取、重复提交或错误派单,也应先修复并复测相应路径。
让人工接手时看到工单编号、已确认字段、失败原因和待办事项。演练值班员拒绝草稿后,助手能否向住户说明下一步,并保持草稿处于未提交状态。准备回退方式,例如关闭提交动作、保留查询与人工登记,随后复核积压任务是否逐条处理。试点报告应包含上线决定、适用范围、负责人和再次检查日期。
按阶段选择技能并保留产物
上下文设计阶段需要能审查数据边界和会话恢复策略的能力,给它字段表和两条模拟对话,要求返回冲突与过期场景。工具联调阶段需要能从请求和响应定位故障的能力,给它脱敏请求、测试服务和期望状态,要求返回可重放的失败步骤。上线验收阶段需要能组织端到端回归的能力,给它预览环境、两个测试账号和明确的验收断言,要求保存每条路径的证据。安装前查清当前宿主如何发现技能,以及是否依赖外部账号、浏览器或命令行工具。
将技能建议与实际能力分开验收。如果它只能生成测试计划,下一步由团队运行计划并收集证据。安装后找不到时,从项目作用域、技能目录和入口文件开始检查。能发现却不能运行时,确认依赖版本和权限,再用一条无敏感数据的只读请求缩小问题范围。更新前保存当前版本和用例结果,避免把应用回归与技能升级混在一起。
常见问题
演示通过后为什么还要做断网和重试测试?演示往往只有一条顺利路径。试点遇到的超时可能发生在服务端已经执行之后,只有重放请求并检查最终记录数,才能验证不会重复写入。
记忆是否需要保存完整聊天?先按实际续接需求确定字段。物业助手通常需要工单编号和当前状态,业务系统可根据权限提供这些数据。团队若保留对话摘要,应设定用途、有效期和删除规则,并验证过期信息不会重新写入草稿。
如何定位一次偶发的工具失败?用请求标识关联助手运行日志和工具服务日志,记录当时的接口版本和错误类型。用相同输入在测试环境复现,先检查参数和权限,再检查网络与响应解析。修复后既跑单个接口用例,也跑从报修到交接的整条路径。
试点期间突然无法派单怎么办?让系统把新请求进入人工队列,保留工单状态和请求标识。交接人员核对哪些记录已创建、哪些仍待提交,再决定是否补录。恢复自动派单前,用同一个模拟故障验证状态恢复和去重。
在浏览器验收阶段用关联的 Webapp Testing 技能操作预览环境。用两个测试账号检查住户看到的工单状态、越权访问时的提示,以及值班员是否收到交接。由测试服务注入超时并独立核对后台草稿数量。