在真实浏览器中自动进行 QA 测试
要点做了较大的更改后,MonstarX 会提供一份 QA 计划。点击“运行 QA”,QA 智能体会先阅读你的代码,然后在真实的云端浏览器中测试最多 24 个关键流程(注册、预约、付款……),每项测试都使用全新的测试账户和真实的收件箱。你会在聊天中收到一份报告,包含每项测试的录屏,以及对失败项的诊断。选择“仅报告”时由你决定修复什么;选择“自动修复”时,MonstarX 会自己修复并复测。QA 会消耗额度,未经你同意绝不会启动。
QA(质量保证)就是检查应用是否真的能用:访客能不能注册、预约时段、付款、收到邮件,并看到应该看到的内容。每次更改后都手动做一遍,要花好几个小时。
MonstarX 有一个 QA 智能体替你完成这些工作。它先阅读应用的代码,弄清楚构建了什么,然后在云端的真实浏览器中逐一点击操作你的应用,就像一位细心的测试人员。你会在聊天中收到一份清晰的报告、每项测试的视频,以及修复失败项的帮助。
QA 和构建检查有什么不同?
Section titled “QA 和构建检查有什么不同?”每次构建最后都有 自动构建检查。它们会自动运行,保护你的预览:代码必须能正常运行,构建才算完成。请参阅跟进构建进度。
浏览器 QA 更进一步:它像真人一样使用应用,一个流程接一个流程地检查,确认每个流程都实现了你的要求。它需要几分钟时间,并且会消耗额度,所以总会先征求你的同意。
QA 什么时候运行?
Section titled “QA 什么时候运行?”QA 永远不会自己发起付费的运行。它只会建议运行,由你决定。
第一次构建后以及较大的更改后,聊天中会出现一张卡片:QA 计划已就绪。卡片会说明 MonstarX 将检查什么。点击 运行 QA 开始,或点击 稍后 跳过。之后你也随时可以从顶部栏的 QA 运行。
卡片中的计划 MonstarX 将检查的内容 会告诉你:
- 重点区域:这次更改涉及的应用部分。
- 浏览器测试:最多 24 个关键流程,分成小批次检查。
- 你将获得:一份清晰的报告,说明哪些功能正常、哪些需要关注,以及哪些未能检查。
- 如果 QA 发现问题:它是只报告问题,还是也会修复问题(见下文),以及 QA 会消耗额度。
如果在计划生成后应用又有了更改,运行 QA 会要求生成新的计划,所以 QA 测试的始终是你当前的代码。
如何设置什么时候建议运行 QA?
Section titled “如何设置什么时候建议运行 QA?”点击顶部栏中的 QA(在 何时建议运行浏览器 QA 下),或打开 设置常规浏览器 QA(在 何时建议运行 QA 下)。选择一项:
| 设置 | 会发生什么 |
|---|---|
| 较大更改后(默认) | 较大的更改后会出现一份计划,等待你选择。 |
| 按需运行 | 不会主动建议。只有在你打开 QA 时才会显示计划。 |
| 每次构建后 | 应用每次更改后都会出现一份计划。 |
QA 运行时会做什么?
Section titled “QA 运行时会做什么?”-
代码审查。 QA 智能体阅读应用的代码,把它和你的要求以及功能计划逐一对照。它会把每项功能归为已构建、部分构建或尚未构建,并标出声称已完成但其实没做完的部分。卡片上会显示为“代码审查 已构建 5 项 · 部分构建 1 项”。
-
测试计划。 它会编写最多 24 项简短的浏览器测试,沿着代码中真实的按钮和页面操作,例如“注册,预约一次 30 分钟的遛狗,再取消”。
-
浏览器。 每项测试都在自己的云端浏览器中运行,多项同时进行。卡片上会显示 正在同时测试 6 个流程… 已完成 2/6 个。点击 实时观看,可以在测试运行时观看。当卡片比聊天区域还高时,它的标题和当前进度会在你滚动时固定在聊天底部。
-
结果。 每项测试完成后都会打勾,显示用时,并附有 回放 按钮,可以观看录屏。
有几点让测试更贴近真实情况:
- 每项测试都会用一个全新的测试账户注册,所以测试之间的数据永远不会互相干扰。
- 测试账户有真实的收件箱。 当你的应用发送邮件(例如注册确认或密码重置)时,测试者会打开邮件并点击其中的链接,就像真实顾客一样。
- QA 测试的是你的应用的独立副本。 它工作时你可以继续使用预览。如果你开始一次构建,QA 会停止;构建完成后,它会提议改为测试构建好的应用。
- 测试账户用完就会删除,它们创建的内容也一并删除,让你的应用数据保持干净。
如何看懂结果?
Section titled “如何看懂结果?”聊天中的 QA 卡片会在标题中总结这次运行,例如 全部 7 项测试均已通过 或 7 项测试中有 5 项通过。
在标题下方,你会看到:
- 每项测试:打勾或打叉、用时,以及录屏的 回放。第一个失败项的回放会自动打开。
- 失败的测试:出错的那一步(在“Book a walk”步骤),以及页面上显示的原文。
- 未测试:无法完成的测试(例如浏览器不再推进)会说明原因。只要有测试无法运行,这次运行就绝不会被判定为通过。
- 需要密钥:如果某个流程用到了你还没连接的服务(例如 Stripe),会测试到那一步为止,并标上钥匙图标、“需要 Stripe 密钥”和 连接 Stripe 链接。这不算作失败。请参阅连接器。
- 功能计划:已测试功能中 4/5 项正常:测试结果与你的计划的对应情况。
在功能计划中,功能会获得一个徽章:已验证(已在真实浏览器中检查)、QA 未通过 或 需要密钥。
测试失败时会怎样?
Section titled “测试失败时会怎样?”QA 会找出原因。它会沿着失败的流程追踪你的代码、日志和数据,并在 问题说明 下列出问题,每个问题都带有一个标签:
| 标签 | 含义 |
|---|---|
| 缺陷 | 应用做错了事。 |
| 尚未构建 | 这项功能还没有。 |
| 测试问题 | 应用没问题,是测试本身写错了。QA 会修正测试并重试。 |
| 预览问题 | 预览宕机或太慢。QA 会重启预览并再次测试。 |
| 需要你处理 | 只有人能检查的内容:真实付款、不属于测试账户的收件箱、第三方登录、CAPTCHA 验证码。 |
每个问题还会说明 QA 有多确定(已确认、很可能存在 或 不确定)、原因以及修复方法。打开 技术详情 可以查看证据。
仅报告还是自动修复?
Section titled “仅报告还是自动修复?”你可以在 QA 菜单或 设置常规浏览器 QA 中的 QA 发现问题时 下,选择 QA 接下来做什么:
- 仅报告(推荐)。 QA 列出检测项,并在每次修复前征求你的同意。卡片会提供 修复此问题(或 修复这 3 个问题)、针对测试问题或预览问题的 再次测试,或者 稍后。在你点击之前,应用不会有任何改动。
- 自动修复。 QA 把诊断出的问题交给构建助手,检查改动,然后自己再次测试。这会消耗更多额度。
修复和其他构建请求一样:它在聊天中显示为“QA · 第 1/3 次修复”,会保留一个你可以退回的版本,然后 QA 会检查每个问题(已修复、部分修复 或 未修复),并重新运行同样的测试。
尝试修复三次之后,或者剩下的问题需要人来处理时,卡片会显示 请自行检查这些项,并给你一份检查清单:操作步骤、应该发生什么、自动测试看到了什么,以及可能的原因。再尝试修复一次 会让构建助手再试一次。
什么是收尾卡片?
Section titled “什么是收尾卡片?”当功能计划中的所有功能都构建完成后,聊天中会出现一张收尾卡片。它的标题会告诉你目前的进展:
- 所有功能已构建并测试:每项功能都已构建,并且通过了 QA。
- 计划中的功能已全部构建,并附有“QA 尚未在真实浏览器中测试此版本”:QA 还没有在这个版本上运行。点击 查看 QA 计划,然后点击 运行 QA。
- 计划中的功能已全部构建,仍有 1 个问题未解决:QA 已完成,但还剩一些问题。仍未解决 部分会提供 再尝试修复一次,或者请你描述看到的情况。
在 接下来可以尝试的创意 下,MonstarX 会推荐 3 到 5 个适合你的应用的功能。点击 添加(或 添加全部)把它们加入功能计划,然后点击 构建此功能 或 构建这些功能。
如何停止或重新运行 QA?
Section titled “如何停止或重新运行 QA?”- QA 卡片上的 取消 会立即停止运行,并保留已经发现的内容。还没开始的修复永远不会开始。
- QA 菜单中的 立即运行 QA 会开始新的一次运行。
- QA 菜单还会显示上一次运行的结果。
只有项目所有者可以启动 QA。你把项目分享给的人能看到 QA 卡片,但看不到按钮。
QA 会自己运行并花掉我的额度吗?
不会。QA 只会建议一份计划,然后等你点击 运行 QA。如果开启了 自动修复,你启动的运行可能会接着自己修复并复测,这会消耗更多额度。
QA 会测试多少个流程?
每次运行最多 24 个,由多个并行的云端浏览器分小批次完成。对于较大的应用,再运行一次可以检查更多剩余区域。
QA 能测试我的应用发送的邮件吗?
能。每个测试账户都有真实的收件箱,所以 QA 可以打开确认邮件或密码重置邮件,并点击其中的链接。只有不属于测试账户的收件箱才需要你自己检查。
QA 能测试付款或 Google 登录吗?
不能完整测试。用到你尚未连接的服务的流程会被标记为 需要密钥。真实付款、第三方登录和 CAPTCHA 验证码会列在 需要你处理 下,留给人来检查。
QA 运行时我可以继续构建吗?
你可以继续使用预览,因为 QA 测试的是应用的独立副本。如果你开始一次构建,QA 会停止当前运行。构建完成后,它会提议测试构建好的应用,由你选择 运行 QA 或 稍后。
QA 会在我的应用里留下测试账户吗?
不会。一次运行结束后,它的测试账户会连同它们创建的内容一起删除。