背景与挑战
支付、审批、配置这类企业业务系统的功能测试长期依赖人工:从需求文档写用例慢且覆盖不全,执行靠人点、容易漏,结果往往只有「通过 / 失败」而没有证据。其中「文档与实现不一致」——系统进入的是另一个合法状态,但与流程文档预期不符——最难被系统性发现。已有的脚本化自动化维护成本高,换一个被测系统几乎要重写。
我们做了什么
- 材料到用例:上传需求文档、流程定义、原型图与客户用例模版,平台解析为可预览可编辑的中间表示(流程、节点、角色、动作、状态机、控件清单),再按业务链生成结构化用例;中英文可选,每条带自动化程度与来源回链,无依据的内容标注为推断
- 真实浏览器执行:Agent 按用例驾驭真实浏览器,多角色各自独立会话、多环境并发;同一业务实例内串行、业务链之间并行,账号池按角色发放租约
- 规则优先、模型兜底的判定:提示文案、元素状态、接口错误码、实体状态等由确定性规则判定,只有自然语言断言才交给模型;结论分为通过、失败、需人工复查三态,不把不确定伪装成确定
- 全程留证:每步前后截图、页面文本与无障碍树快照、接口响应摘要、控制台错误与操作录像;凭据在全部证据与日志中脱敏
- 可观看、可干预:并行泳道实时观看执行过程,可暂停、跳过、改完继续,人工步骤支持等待输入
- 换系统不改代码:被测系统的角色、动作词表、状态标签、定位偏好与等待策略写在一份「系统画像」里,换一个系统只换画像
- 成本与安全可控:按模型逐笔计量 token 与费用并支持预算熔断;主机白名单拦截越界导航,高风险步骤需要预批准,测试数据统一前缀
技术方案
| 层 | 选型 |
|---|---|
| 执行 | Playwright 驱动真实浏览器,多上下文承载多角色会话 |
| 生成与判定 | 多模型按档位调度(生成 / 判定 / 复判 / 视觉) |
| 编排 | 业务链级并发调度、阻塞传播与检查点续跑 |
| 交付形态 | 公网 SaaS,控制面与执行节点同在云上,执行节点按网络标签路由 |
| 报告 | 三态计数、状态机覆盖图、节点 × 动作矩阵、缺陷去重、客户模版 xlsx 导出 |
交付结果
| 项目 | 说明 |
|---|---|
| 首个被测系统 | B2B 跨境支付平台(客户名称保密) |
| 用例生成 | 按流程域分链生成,单次上限 400 条 |
| 判定口径 | 三态结论 + 人工复查闭环,失败自动归并为缺陷 |
| 缺陷分类 | 功能、文档与实现不一致、界面数据、布局、颜色、权限、稳定性 |
| 覆盖率与回归耗时对比 | 客户未授权披露 |
授权说明
产品形态、方法论与技术方案可公开;首个落地客户的名称、业务数据与测试结果按保密约定不披露。