Pengujian QA otomatis di browser sungguhan
SingkatnyaSetelah perubahan besar, MonstarX menawarkan rencana QA. Klik Jalankan QA, lalu agen QA membaca kode Anda dan menguji hingga 24 alur penting (mendaftar, memesan, membayar…) di browser cloud sungguhan, masing-masing dengan akun uji baru dan kotak masuk sungguhan. Anda menerima laporan di percakapan, lengkap dengan rekaman setiap pengujian dan diagnosis untuk yang gagal. Dengan Hanya laporan, Anda memilih apa yang diperbaiki; dengan Perbaikan otomatis, MonstarX memperbaiki dan menguji ulang sendiri. QA memakai kredit dan tidak pernah dimulai tanpa persetujuan Anda.
QA (quality assurance, atau penjaminan mutu) berarti memeriksa bahwa aplikasi benar-benar berfungsi: pengunjung bisa mendaftar, memesan jadwal, membayar, menerima email, dan melihat apa yang seharusnya mereka lihat. Melakukannya secara manual setelah setiap perubahan bisa memakan waktu berjam-jam.
MonstarX punya agen QA yang mengerjakannya untuk Anda. Agen ini membaca kode aplikasi untuk melihat apa yang sudah dibangun, lalu menelusuri aplikasi Anda di browser web sungguhan di cloud, seperti penguji yang teliti. Anda mendapat laporan yang jelas di percakapan, video setiap pengujian, dan bantuan untuk memperbaiki yang gagal.
Apa bedanya QA dengan pemeriksaan saat membangun?
Section titled “Apa bedanya QA dengan pemeriksaan saat membangun?”Setiap proses membangun diakhiri dengan Pemeriksaan build otomatis. Pemeriksaan ini berjalan sendiri dan menjaga pratinjau: kode harus berfungsi sebelum proses membangun dianggap selesai. Lihat Ikuti proses membangun.
QA di browser melangkah lebih jauh: QA memakai aplikasi seperti manusia, alur demi alur, dan memeriksa bahwa setiap alur melakukan apa yang Anda minta. Prosesnya memakan beberapa menit dan memakai kredit, jadi QA selalu bertanya dulu.
Kapan QA berjalan?
Section titled “Kapan QA berjalan?”QA tidak pernah memulai pengujian berbayar sendiri. QA hanya menyarankan, dan Anda yang memutuskan.
Setelah proses membangun pertama dan setelah perubahan yang lebih besar, sebuah kartu muncul di percakapan: Rencana QA siap. Kartu ini menjelaskan apa yang akan diperiksa MonstarX. Klik Jalankan QA untuk memulai, atau Nanti untuk melewatinya. Anda selalu bisa menjalankan QA nanti dari QA di bilah atas.
Rencana di kartu itu, Yang akan diperiksa MonstarX, memberi tahu Anda:
- Area fokus: bagian aplikasi yang tersentuh perubahan.
- Di browser: hingga 24 alur penting, diperiksa dalam kelompok-kelompok kecil.
- Apa yang akan Anda dapatkan: laporan yang jelas tentang apa yang berfungsi, apa yang perlu diperhatikan, dan apa yang tidak bisa diperiksa.
- Jika QA menemukan masalah: apakah QA hanya akan melaporkannya atau juga memperbaikinya (lihat di bawah), dan bahwa QA memakai kredit.
Jika aplikasi berubah setelah rencana dibuat, Jalankan QA meminta rencana baru, sehingga QA selalu menguji kode yang Anda miliki sekarang.
Bagaimana cara memilih kapan QA disarankan?
Section titled “Bagaimana cara memilih kapan QA disarankan?”Klik QA di bilah atas (di bagian Kapan menyarankan QA di browser), atau buka PengaturanUmumQA dengan browser (di bagian Kapan menyarankan QA). Pilih salah satu:
| Pengaturan | Yang terjadi |
|---|---|
| Setelah perubahan besar (bawaan) | Rencana muncul setelah perubahan yang lebih besar, lalu menunggu pilihan Anda. |
| Berdasarkan permintaan | Tidak ada saran. Rencana hanya ditampilkan saat Anda membuka QA. |
| Setelah setiap proses membangun | Rencana muncul setelah setiap perubahan pada aplikasi. |
Apa yang dilakukan QA saat berjalan?
Section titled “Apa yang dilakukan QA saat berjalan?”-
Tinjauan kode. Agen QA membaca kode aplikasi dan membandingkannya dengan permintaan Anda serta rencana fitur Anda. Setiap fitur dikelompokkan menjadi sudah dibangun, sebagian dibangun, atau belum dibangun, dan QA mencatat apa pun yang diklaim selesai padahal belum tuntas. Kartu menampilkannya sebagai Tinjauan kode 5 dibangun · 1 sebagian dibangun.
-
Rencana pengujian. QA menulis hingga 24 pengujian browser singkat yang mengikuti tombol dan halaman nyata di kode Anda: daftar, pesan jalan-jalan 30 menit, lalu batalkan.
-
Browser. Setiap pengujian berjalan di browser cloud-nya sendiri, beberapa sekaligus. Kartu menampilkan Menguji 6 alur sekaligus… 2 dari 6 selesai. Klik Tonton langsung untuk menonton pengujian yang sedang berjalan. Jika kartu lebih tinggi dari panel percakapan, judul kartu dan aktivitasnya saat ini tetap tersemat di bagian bawah percakapan saat Anda menggulir.
-
Hasil. Setiap pengujian dicentang begitu selesai, lengkap dengan durasinya dan tombol Putar ulang untuk rekamannya.
Beberapa hal membuat pengujian terasa nyata:
- Setiap pengujian mendaftar dengan akun uji barunya sendiri, sehingga data antarpengujian tidak pernah bertabrakan.
- Akun uji punya kotak masuk sungguhan. Saat aplikasi Anda mengirim email, seperti konfirmasi pendaftaran atau pengaturan ulang kata sandi, penguji membukanya dan mengikuti tautannya, persis seperti pelanggan.
- QA menguji salinan aplikasi Anda sendiri. Anda tetap bisa memakai pratinjau selama QA bekerja. Jika Anda memulai proses membangun, QA berhenti, lalu setelah proses itu selesai, QA menawarkan untuk menguji aplikasi yang sudah jadi.
- Akun uji dihapus setelahnya, beserta apa pun yang dibuatnya, sehingga data aplikasi Anda tetap bersih.
Bagaimana cara membaca hasilnya?
Section titled “Bagaimana cara membaca hasilnya?”Kartu QA di percakapan merangkum pengujian di judulnya, misalnya Semua 7 pengujian lulus atau 5 dari 7 pengujian lulus.
Di bawah judul, Anda melihat:
- Setiap pengujian, dengan centang atau silang, durasinya, dan Putar ulang untuk rekamannya. Rekaman kegagalan pertama terbuka dengan sendirinya.
- Untuk pengujian yang gagal: langkah yang bermasalah (Di “Pesan jalan-jalan”) dan apa yang ditampilkan halaman, kata demi kata.
- Tidak diuji: pengujian yang tidak bisa selesai (misalnya, browser berhenti membuat kemajuan) menjelaskan alasannya. Satu putaran QA tidak pernah dinyatakan lulus jika ada pengujian yang tidak bisa dijalankan.
- Membutuhkan kunci: alur yang menjangkau layanan yang belum Anda hubungkan (seperti Stripe) diuji sampai langkah itu dan ditandai dengan ikon kunci, membutuhkan kunci Stripe, serta tautan Hubungkan Stripe. Ini tidak dihitung sebagai kegagalan. Lihat Konektor.
- Rencana fitur: 4 dari 5 fitur yang diuji berfungsi: bagaimana hasil pengujian dipetakan ke rencana Anda.
Di rencana fitur, fitur mendapat lencana: Terverifikasi (sudah diperiksa di browser sungguhan), QA gagal, atau Membutuhkan kunci.
Apa yang terjadi jika pengujian gagal?
Section titled “Apa yang terjadi jika pengujian gagal?”QA mencari tahu penyebabnya. QA menelusuri alur yang gagal melalui kode, log, dan data Anda, lalu mencantumkan masalahnya di bagian Apa yang salah, masing-masing dengan label:
| Label | Artinya |
|---|---|
| Bug | Aplikasi melakukan sesuatu yang salah. |
| Belum dibangun | Fiturnya belum ada. |
| Masalah pengujian | Aplikasi berfungsi; pengujiannya yang keliru. QA memperbaiki pengujian lalu mencoba lagi. |
| Masalah pratinjau | Pratinjau sedang mati atau lambat. QA memulai ulang pratinjau dan menguji lagi. |
| Perlu tindakan Anda | Sesuatu yang hanya bisa diperiksa manusia: pembayaran sungguhan, kotak masuk yang bukan milik pengujian, proses masuk lewat pihak ketiga, atau CAPTCHA. |
Setiap masalah juga menunjukkan seberapa yakin QA (Dikonfirmasi, Kemungkinan besar, atau Tidak jelas), penyebabnya, dan perbaikannya. Buka Detail teknis untuk melihat buktinya.
Hanya laporan atau Perbaikan otomatis?
Section titled “Hanya laporan atau Perbaikan otomatis?”Anda memilih apa yang dilakukan QA selanjutnya di bagian Ketika QA menemukan masalah, di menu QA atau di PengaturanUmumQA dengan browser:
- Hanya laporan (disarankan). QA menampilkan temuannya dan bertanya sebelum setiap perbaikan. Kartu menawarkan Perbaiki masalah ini (atau Perbaiki 3 masalah ini), Uji lagi untuk masalah pengujian atau pratinjau, atau Nanti. Tidak ada yang berubah di aplikasi Anda sampai Anda mengeklik.
- Perbaikan otomatis. QA mengirim masalah yang sudah didiagnosis ke MonstarX, memeriksa perubahannya, lalu menguji lagi sendiri. Pilihan ini memakai lebih banyak kredit.
Perbaikan bekerja seperti permintaan di mode Bangun lainnya: muncul di percakapan sebagai QA · upaya perbaikan 1 dari 3, menyimpan versi yang bisa Anda pulihkan, lalu QA memeriksa setiap masalah (Sudah diperbaiki, Sebagian sudah diperbaiki, atau Belum diperbaiki) dan menjalankan pengujian yang sama lagi.
Setelah tiga upaya perbaikan, atau jika yang tersisa memerlukan manusia, kartu menampilkan Periksa sendiri dan memberi Anda daftar periksa: langkah-langkahnya, apa yang seharusnya terjadi, apa yang terlihat oleh pengujian otomatis, dan dugaan penyebabnya. Coba satu perbaikan lagi memberi MonstarX satu kesempatan lagi.
Apa itu kartu penutup?
Section titled “Apa itu kartu penutup?”Saat semua fitur di rencana fitur Anda sudah dibangun, percakapan menampilkan kartu penutup. Judulnya menunjukkan posisi Anda:
- Semuanya sudah dibangun dan diuji: semua fitur sudah dibangun dan QA lulus.
- Semua yang direncanakan sudah dibangun, dengan keterangan QA belum menguji versi ini di browser sungguhan: QA belum dijalankan pada versi ini. Klik Tinjau rencana QA, lalu Jalankan QA.
- Semua yang direncanakan sudah dibangun — 1 masalah masih belum selesai: QA selesai dengan sesuatu yang tersisa. Bagian Belum selesai menawarkan Coba satu perbaikan lagi, atau meminta Anda menjelaskan apa yang Anda lihat.
Di bagian Ide untuk langkah selanjutnya, MonstarX menyarankan tiga sampai lima fitur yang cocok untuk aplikasi Anda. Klik Tambahkan (atau Tambahkan semua) untuk memasukkannya ke rencana fitur, lalu Bangun.
Bagaimana cara menghentikan atau memulai ulang QA?
Section titled “Bagaimana cara menghentikan atau memulai ulang QA?”- Batal di kartu QA langsung menghentikan pengujian, dengan tetap menyimpan temuannya. Perbaikan yang belum dimulai tidak akan pernah dimulai.
- Jalankan QA sekarang di menu QA memulai pengujian baru.
- Menu QA juga menampilkan hasil pengujian terakhir.
Hanya pemilik proyek yang dapat memulai QA. Orang yang Anda beri akses ke proyek melihat kartu QA, tanpa tombolnya.
Pertanyaan umum
Section titled “Pertanyaan umum”Apakah QA berjalan sendiri dan menghabiskan kredit saya?
Tidak. QA hanya menyarankan rencana dan menunggu Anda mengeklik Jalankan QA. Jika Perbaikan otomatis aktif, pengujian yang sudah Anda mulai bisa berlanjut memperbaiki dan menguji ulang sendiri, dan itu memakai lebih banyak kredit.
Berapa banyak alur yang diuji QA?
Hingga 24 per pengujian, dalam kelompok-kelompok kecil browser cloud yang berjalan berdampingan. Untuk aplikasi yang lebih besar, pengujian berikutnya bisa memeriksa lebih banyak area yang tersisa.
Bisakah QA menguji email yang dikirim aplikasi saya?
Bisa. Setiap akun uji punya kotak masuk sungguhan, sehingga QA bisa membuka email konfirmasi atau pengaturan ulang kata sandi dan mengikuti tautannya. Hanya kotak masuk yang bukan milik pengujian yang perlu Anda periksa sendiri.
Bisakah QA menguji pembayaran atau proses masuk dengan Google?
Tidak dari awal sampai akhir. Alur yang menjangkau layanan yang belum Anda hubungkan ditandai Membutuhkan kunci. Pembayaran sungguhan, proses masuk lewat pihak ketiga, dan CAPTCHA dicantumkan di bagian Perlu tindakan Anda agar diperiksa oleh manusia.
Bisakah saya terus membangun selama QA berjalan?
Anda tetap bisa memakai pratinjau, karena QA menguji salinan aplikasi Anda sendiri. Jika Anda memulai proses membangun, QA menghentikan pengujiannya. Setelah proses membangun selesai, QA menawarkan untuk menguji aplikasi yang sudah jadi, dan Anda memilih Jalankan QA atau Nanti.
Apakah QA meninggalkan akun uji di aplikasi saya?
Tidak. Setelah pengujian selesai, akun ujinya dihapus beserta apa pun yang dibuatnya.