www.siyou365.com/cases/ai-test-agent/
AI 自动化测试平台

背景与挑战

支付、审批、配置这类企业业务系统的功能测试长期依赖人工:从需求文档写用例慢且覆盖不全,执行靠人点、容易漏,结果往往只有「通过 / 失败」而没有证据。其中「文档与实现不一致」——系统进入的是另一个合法状态,但与流程文档预期不符——最难被系统性发现。已有的脚本化自动化维护成本高,换一个被测系统几乎要重写。

我们做了什么

  • 材料到用例:上传需求文档、流程定义、原型图与客户用例模版,平台解析为可预览可编辑的中间表示(流程、节点、角色、动作、状态机、控件清单),再按业务链生成结构化用例;中英文可选,每条带自动化程度与来源回链,无依据的内容标注为推断
  • 真实浏览器执行:Agent 按用例驾驭真实浏览器,多角色各自独立会话、多环境并发;同一业务实例内串行、业务链之间并行,账号池按角色发放租约
  • 规则优先、模型兜底的判定:提示文案、元素状态、接口错误码、实体状态等由确定性规则判定,只有自然语言断言才交给模型;结论分为通过、失败、需人工复查三态,不把不确定伪装成确定
  • 全程留证:每步前后截图、页面文本与无障碍树快照、接口响应摘要、控制台错误与操作录像;凭据在全部证据与日志中脱敏
  • 可观看、可干预:并行泳道实时观看执行过程,可暂停、跳过、改完继续,人工步骤支持等待输入
  • 换系统不改代码:被测系统的角色、动作词表、状态标签、定位偏好与等待策略写在一份「系统画像」里,换一个系统只换画像
  • 成本与安全可控:按模型逐笔计量 token 与费用并支持预算熔断;主机白名单拦截越界导航,高风险步骤需要预批准,测试数据统一前缀

技术方案

层 选型
执行 Playwright 驱动真实浏览器,多上下文承载多角色会话
生成与判定 多模型按档位调度(生成 / 判定 / 复判 / 视觉)
编排 业务链级并发调度、阻塞传播与检查点续跑
交付形态 公网 SaaS,控制面与执行节点同在云上,执行节点按网络标签路由
报告 三态计数、状态机覆盖图、节点 × 动作矩阵、缺陷去重、客户模版 xlsx 导出

交付结果

项目 说明
首个被测系统 B2B 跨境支付平台(客户名称保密)
用例生成 按流程域分链生成,单次上限 400 条
判定口径 三态结论 + 人工复查闭环,失败自动归并为缺陷
缺陷分类 功能、文档与实现不一致、界面数据、布局、颜色、权限、稳定性
覆盖率与回归耗时对比 客户未授权披露

授权说明

产品形态、方法论与技术方案可公开;首个落地客户的名称、业务数据与测试结果按保密约定不披露。

已匿名化处理,客户名称与数据未披露

想做类似的项目?

免费 GEO 基线诊断:12 条买家问题 × 3 个 AI 引擎,3 个工作日内出报告,含抓取、实体与结构化数据检查。