実際のブラウザで行う自動 QA テスト
要点大きな変更のあと、MonstarX は QA 計画を提案します。「QA を実行」を押すと、QA エージェントがコードを読み、新規登録・予約・支払いなど最大 24 件の重要な操作の流れを、クラウド上の実際のブラウザでテストします。テストごとに新しいテスト用アカウントと本物の受信トレイを使います。チャットには、すべてのテストの録画付きレポートと、失敗の原因分析が届きます。「報告のみ」なら修正するものを自分で選び、「自動修正」なら MonstarX が修正と再テストを自動で行います。QA はクレジットを使い、あなたの操作なしに始まることはありません。
QA（品質保証）とは、アプリが本当に動くかを確かめることです。訪問者が新規登録し、枠を予約し、支払い、メールを受け取り、見るべきものを見られるか。変更のたびに手作業で確かめると、何時間もかかります。
MonstarX には、これを代わりに行う QA エージェントがいます。アプリのコードを読んで何が作られたかを把握し、注意深いテスト担当者のように、クラウド上の実際の Web ブラウザでアプリを操作します。チャットにはわかりやすいレポートと、すべてのテストの動画が届き、失敗した箇所の修正も手伝います。
QA はビルドチェックとどう違いますか？
Section titled “QA はビルドチェックとどう違いますか？”どの作成も、最後に 自動ビルドチェック が行われます。これは自動で実行され、プレビューを守ります。コードが動かなければ作成は完了しません。作成の様子を見る をご覧ください。
ブラウザ QA はさらに一歩進みます。人と同じようにアプリを使い、操作の流れを一つずつ、あなたが頼んだとおりに動くかを確かめます。数分かかり、クレジットを使うため、必ず先に確認します。
QA はいつ実行されますか？
Section titled “QA はいつ実行されますか？”QA が自分から有料の実行を始めることはありません。実行を提案し、決めるのはあなたです。
最初の作成のあとや大きな変更のあとに、チャットに QA 計画を確認できます というカードが表示されます。MonstarX が何を確認するかが書かれています。QA を実行 で開始し、後で でスキップします。上部のバーの QA から、いつでもあとで実行できます。
カードの計画 MonstarX が確認すること には、次の内容が書かれています。
- 確認する領域：今回の変更で手を入れた部分。
- ブラウザでの確認：最大 24 件の重要な操作の流れを、少しずつまとめて確認します。
- 結果：動いているもの、対応が必要なもの、確認できなかったものをまとめたわかりやすいレポート。
- 問題が見つかった場合：報告だけにするか、修正までするか（下記参照）と、QA がクレジットを使うこと。
計画を作ったあとにアプリが変わった場合、QA を実行 を押すと新しい計画を作り直します。QA は常に、今のコードをテストします。
QA を提案するタイミングを選ぶには？
Section titled “QA を提案するタイミングを選ぶには？”上部のバーの QA をクリックする（ブラウザ QA を提案するタイミング）か、設定一般ブラウザ QA を開きます（QA を提案するタイミング）。次から選びます。
| 設定 | どうなるか |
|---|---|
| 大きな変更の後（標準） | 大きめの変更のあとに計画が表示され、あなたの判断を待ちます。 |
| リクエスト時 | 提案はしません。QA を開いたときだけ計画が表示されます。 |
| すべてのビルド後 | アプリを変更するたびに計画が表示されます。 |
実行中、QA は何をしていますか？
Section titled “実行中、QA は何をしていますか？”-
コードレビュー。 QA エージェントがアプリのコードを読み、あなたの依頼内容や 機能プラン と比べます。すべての機能を「作成済み」「一部作成」「未作成」に分け、完成と報告されたのに未完成のものも書き留めます。カードには コードレビュー 作成済み 5件 · 一部作成 1件 のように表示されます。
-
テスト計画。 コード内の実際のボタンやページに沿って、最大 24 件の短いブラウザテストを書きます。例：新規登録して、30 分の散歩を予約し、キャンセルする。
-
ブラウザ。 各テストはそれぞれ専用のクラウドブラウザで、いくつも同時に実行されます。カードには 6件のフローを同時にテスト中… 2/6 完了 と表示されます。ライブで見る をクリックすると、実行中のテストを見られます。カードがチャットより縦に長いときは、スクロールしても見出しと現在の作業がチャットの下部に固定表示されます。
-
結果。 終わったテストから順にチェックが付き、かかった時間と、録画を見るための リプレイ ボタンが表示されます。
テストを現実に近づけるための工夫があります。
- テストごとに新しいテスト用アカウントで新規登録します。 テスト同士がお互いのデータでつまずくことはありません。
- テスト用アカウントには本物の受信トレイがあります。 新規登録の確認やパスワード再設定など、アプリがメールを送ると、テスト担当者はお客様と同じようにメールを開いてリンクをたどります。
- QA はアプリのコピーをテストします。 QA の実行中もプレビューを使い続けられます。作成を始めると QA は停止し、作成が終わったら完成したアプリのテストを提案します。
- テスト用アカウントは終了後に削除されます。 作られたデータも一緒に消えるので、アプリのデータはきれいなままです。
結果の見方は？
Section titled “結果の見方は？”チャットの QA カードの見出しに、実行結果がまとめて表示されます。たとえば 7件のテストがすべて合格 や 7件中5件のテストが合格 です。
見出しの下には次の内容が表示されます。
- 各テスト：合格のチェックか不合格のバツ、かかった時間、録画の リプレイ。最初に失敗したテストのリプレイは自動で開きます。
- 失敗したテスト：うまくいかなかったステップ（「Book a walk」の時点）と、そのときページに表示されていた内容がそのまま表示されます。
- 未テスト：最後まで終わらなかったテスト（たとえばブラウザが先に進まなくなった場合）は、その理由が表示されます。実行できなかったテストがあるのに合格と表示されることはありません。
- キーが必要：まだ接続していないサービス（Stripe など）に進む操作の流れは、そのステップの手前までテストされ、鍵のアイコン、Stripe のキーが必要、Stripe を接続 のリンクが付きます。失敗としては数えません。コネクタ をご覧ください。
- 機能プラン：テストした機能のうち 5件中4件が動作：結果を機能プランに照らし合わせたものです。
機能プラン では、機能に 検証済み（実際のブラウザで確認済み）、QA 不合格、キーが必要 のバッジが付きます。
テストが失敗したらどうなりますか？
Section titled “テストが失敗したらどうなりますか？”QA が原因を調べます。失敗した操作の流れをコード、ログ、データからたどり、問題点 に問題を並べます。それぞれに次のラベルが付きます。
| ラベル | 意味 |
|---|---|
| バグ | アプリの動きが間違っています。 |
| 未作成 | その機能がまだありません。 |
| テストの問題 | アプリは動いていて、テストのほうが間違っていました。QA がテストを直して再実行します。 |
| プレビューの問題 | プレビューが止まっていたか、遅すぎました。QA がプレビューを再起動して再テストします。 |
| 対応が必要 | 人にしか確かめられないもの。本物の支払い、テスト用以外の受信トレイ、外部サービスでのサインイン、CAPTCHA などです。 |
各問題には、QA の確信度（確定、可能性大、不明）、原因、修正方法も表示されます。根拠を見るには 技術的な詳細 を開きます。
「報告のみ」と「自動修正」、どちらにしますか？
Section titled “「報告のみ」と「自動修正」、どちらにしますか？”QA が次に何をするかは、QA メニューまたは 設定一般ブラウザ QA の QA で問題が見つかった場合 で選びます。
- 報告のみ（推奨）。 QA は結果を表示し、修正のたびに確認します。カードには この問題を修正する（または この3件の問題を修正する）、テストやプレビューの問題なら 再テスト、そして 後で が表示されます。あなたがクリックするまで、アプリは何も変わりません。
- 自動修正。 QA が原因を特定した問題をビルダーに渡し、変更を確認して、自動で再テストします。そのぶんクレジットを多く使います。
修正は通常の作成リクエストと同じように動きます。チャットに QA · 修正 1/3 回目 と表示され、あとから戻れる バージョン が残ります。その後 QA が各問題を確認し（修正済み、一部修正、未修正）、同じテストをもう一度実行します。
修正を 3 回試しても残るとき、または残りが人の確認を必要とするときは、カードに ご自身で確認してください と表示され、チェックリストが示されます。手順、本来どうなるべきか、自動テストで見えたこと、考えられる原因です。もう一度修正を試す で、ビルダーにもう一度だけ修正させることもできます。
まとめカードとは？
Section titled “まとめカードとは？”機能プランのすべてが作成されると、チャットにまとめカードが表示されます。見出しで今の状況がわかります。
- すべて完成し、テストも済みました：すべての機能が完成し、QA にも合格しています。
- プランの機能はすべて完成しました（このバージョンは、まだ QA が実際のブラウザでテストしていません。 と表示）：このバージョンではまだ QA を実行していません。QA 計画を確認 をクリックし、QA を実行 を押します。
- プランの機能はすべて完成しました — 未解決の問題が1件あります：QA が終わり、問題が残っています。未解決 の欄に もう一度修正を試す が表示されるか、見えている状況を説明するよう求められます。
次に追加できる機能のアイデア には、MonstarX がアプリに合う機能を 3〜5 件提案します。追加（または すべて追加）をクリックして機能プランに入れ、作成する を押します。
QA を停止・再実行するには？
Section titled “QA を停止・再実行するには？”- QA カードの キャンセル で、実行をすぐに止められます。それまでに見つかった内容は残ります。まだ始まっていない修正は実行されません。
- QA メニューの 今すぐ QA を実行 で、新しく実行を始めます。
- QA メニューには、前回の実行結果も表示されます。
QA を始められるのはプロジェクトのオーナーだけです。プロジェクトを共有した相手には、QA カードがボタンなしで表示されます。
よくある質問
Section titled “よくある質問”QA が勝手に実行されて、クレジットを使うことはありますか？
ありません。QA は計画を提案し、あなたが QA を実行 をクリックするのを待ちます。自動修正 をオンにしている場合は、あなたが始めた実行が、そのまま修正と再テストまで自動で進むことがあり、そのぶんクレジットを多く使います。
QA は操作の流れをいくつテストしますか？
1 回の実行で最大 24 件です。クラウドブラウザを少しずつ並べて同時に実行します。大きなアプリでは、もう一度実行すると残りの領域をさらに確認できます。
アプリが送るメールも QA でテストできますか？
できます。テスト用アカウントにはそれぞれ本物の受信トレイがあるので、QA は確認メールやパスワード再設定メールを開いてリンクをたどれます。テスト用以外の受信トレイだけは、ご自身で確認していただく必要があります。
支払いや Google サインインも QA でテストできますか？
最初から最後まではできません。まだ接続していないサービスに進む操作の流れには キーが必要 と表示されます。本物の支払い、外部サービスでのサインイン、CAPTCHA は、人が確認するものとして 対応が必要 に並びます。
QA の実行中も作成を続けられますか？
QA はアプリのコピーをテストするので、プレビューは使い続けられます。作成を始めると、QA は実行を止めます。作成が終わると完成したアプリのテストを提案するので、QA を実行 か 後で を選んでください。
QA のテスト用アカウントがアプリに残りませんか？
残りません。実行が終わると、テスト用アカウントは作られたデータと一緒に削除されます。