Kiểm thử QA tự động trên trình duyệt thật
Tóm tắtSau một thay đổi lớn, MonstarX đề xuất một kế hoạch QA. Nhấp vào Chạy QA, tác nhân QA sẽ đọc mã của bạn rồi kiểm thử tối đa 24 luồng sử dụng chính (đăng ký, đặt lịch, thanh toán…) trên trình duyệt đám mây thật, mỗi luồng có tài khoản thử nghiệm mới và hộp thư thật. Bạn nhận được báo cáo trong cuộc trò chuyện, kèm video ghi lại từng bài kiểm thử và chẩn đoán cho mọi chỗ không đạt. Với Chỉ báo cáo, bạn chọn sửa gì; với Tự động sửa, MonstarX tự sửa và kiểm thử lại. QA tốn điểm sử dụng và không bao giờ tự bắt đầu khi chưa có bạn đồng ý.
QA (quality assurance — đảm bảo chất lượng) là kiểm tra xem ứng dụng có thật sự chạy đúng không: khách có đăng ký được, đặt được lịch, thanh toán được, nhận được email và thấy đúng những gì cần thấy không. Làm thủ công sau mỗi lần thay đổi thì mất hàng giờ.
MonstarX có một tác nhân QA làm việc đó giúp bạn. Tác nhân đọc mã ứng dụng để biết những gì đã được xây dựng, rồi nhấp qua ứng dụng trên trình duyệt web thật trên đám mây, như một người kiểm thử cẩn thận. Bạn nhận được báo cáo rõ ràng trong cuộc trò chuyện, video của từng bài kiểm thử và sự trợ giúp để sửa những gì không đạt.
QA khác gì với các mục kiểm tra khi xây dựng?
Phần tiêu đề “QA khác gì với các mục kiểm tra khi xây dựng?”Mỗi lần xây dựng đều kết thúc bằng Kiểm tra tự động sau khi xây dựng. Các mục kiểm tra này tự chạy và bảo vệ bản xem trước: mã phải chạy được thì lần xây dựng mới hoàn tất. Xem Theo dõi quá trình xây dựng.
Kiểm thử bằng trình duyệt đi xa hơn: tác nhân dùng ứng dụng như một người thật, từng luồng một, và kiểm tra xem mỗi luồng có làm đúng điều bạn yêu cầu không. Việc này mất vài phút và tốn điểm sử dụng, nên QA luôn hỏi bạn trước.
Khi nào QA chạy?
Phần tiêu đề “Khi nào QA chạy?”QA không bao giờ tự bắt đầu một lần chạy tính phí. QA chỉ đề xuất, còn bạn quyết định.
Sau lần xây dựng đầu tiên và sau những thay đổi lớn, một thẻ xuất hiện trong cuộc trò chuyện: Kế hoạch QA đã sẵn sàng. Thẻ cho biết MonstarX sẽ kiểm tra những gì. Nhấp vào Chạy QA để bắt đầu, hoặc Để sau để bỏ qua. Bạn luôn có thể chạy QA sau từ nút QA trên thanh trên cùng.
Kế hoạch trên thẻ, MonstarX sẽ kiểm tra những gì, cho bạn biết:
- Lĩnh vực trọng tâm: những phần của ứng dụng mà thay đổi vừa rồi chạm đến.
- Trong trình duyệt: tối đa 24 luồng sử dụng chính, kiểm tra theo từng nhóm nhỏ.
- Những gì bạn sẽ nhận được: một báo cáo rõ ràng về những gì chạy tốt, những gì cần chú ý và những gì không kiểm tra được.
- Nếu QA phát hiện vấn đề: QA sẽ chỉ báo cáo hay sửa luôn (xem bên dưới), và lưu ý rằng QA tốn điểm sử dụng.
Nếu ứng dụng thay đổi sau khi kế hoạch được lập, Chạy QA sẽ yêu cầu một kế hoạch mới, nên QA luôn kiểm thử đúng mã bạn đang có.
Làm sao để chọn khi nào QA được đề xuất?
Phần tiêu đề “Làm sao để chọn khi nào QA được đề xuất?”Nhấp vào QA trên thanh trên cùng, hoặc mở Cài đặtChungKiểm thử bằng trình duyệt, rồi tìm mục Khi nào đề xuất kiểm thử bằng trình duyệt. Chọn một trong ba:
| Lựa chọn | Điều gì xảy ra |
|---|---|
| Sau những thay đổi đáng kể (mặc định) | Một kế hoạch xuất hiện sau những thay đổi lớn và chờ bạn quyết định. |
| Theo yêu cầu | Không có đề xuất. Kế hoạch chỉ hiện khi bạn mở QA. |
| Sau mỗi lần xây dựng | Một kế hoạch xuất hiện sau mỗi lần ứng dụng thay đổi. |
QA làm gì trong khi chạy?
Phần tiêu đề “QA làm gì trong khi chạy?”-
Rà soát mã nguồn. Tác nhân QA đọc mã ứng dụng và so sánh với những gì bạn yêu cầu cũng như với kế hoạch tính năng. Tác nhân xếp từng tính năng vào nhóm đã xây dựng, đã xây dựng một phần hoặc chưa xây dựng, và ghi lại những gì được báo là xong nhưng chưa hoàn thành. Thẻ hiển thị phần này dạng Rà soát mã nguồn 5 đã xây dựng · 1 đã xây dựng một phần.
-
Kế hoạch kiểm thử. Tác nhân viết tối đa 24 bài kiểm thử ngắn trên trình duyệt, đi theo đúng các nút và trang thật trong mã của bạn: đăng ký, đặt một lượt dắt chó 30 phút, rồi hủy.
-
Trình duyệt. Mỗi bài kiểm thử chạy trong một trình duyệt đám mây riêng, nhiều bài cùng lúc. Thẻ ghi Đang kiểm thử đồng thời 6 luồng… đã hoàn thành 2/6. Nhấp vào Xem trực tiếp để xem một bài kiểm thử đang chạy. Khi thẻ dài hơn khung trò chuyện, tiêu đề của thẻ và việc đang làm sẽ được ghim ở cuối cuộc trò chuyện khi bạn cuộn.
-
Kết quả. Mỗi bài kiểm thử được đánh dấu khi xong, kèm thời gian chạy và nút Phát lại để xem video.
Vài điều giúp các bài kiểm thử sát với thực tế:
- Mỗi bài kiểm thử đăng ký bằng một tài khoản thử nghiệm mới, nên các bài không bao giờ vướng dữ liệu của nhau.
- Tài khoản thử nghiệm có hộp thư thật. Khi ứng dụng gửi email, như email xác nhận đăng ký hay đặt lại mật khẩu, người kiểm thử mở email và nhấp vào liên kết, đúng như một khách hàng.
- QA kiểm thử trên bản sao riêng của ứng dụng. Bạn vẫn dùng bản xem trước bình thường trong lúc QA làm việc. Nếu bạn bắt đầu một lần xây dựng, QA sẽ dừng và, khi xây dựng xong, đề nghị kiểm thử ứng dụng đã hoàn tất.
- Tài khoản thử nghiệm được xóa sau đó, cùng mọi thứ chúng tạo ra, nên dữ liệu của ứng dụng luôn sạch.
Đọc kết quả như thế nào?
Phần tiêu đề “Đọc kết quả như thế nào?”Thẻ QA trong cuộc trò chuyện tóm tắt lần chạy ngay ở tiêu đề, ví dụ Tất cả 7 bài kiểm thử đều đạt hoặc 5 trên 7 bài kiểm thử đạt.
Bên dưới tiêu đề, bạn sẽ thấy:
- Từng bài kiểm thử, với dấu tích hoặc dấu chéo, thời gian chạy và nút Phát lại video. Video của bài không đạt đầu tiên tự mở.
- Với bài kiểm thử không đạt: bước bị lỗi (Tại “Đặt lịch dắt chó”) và nguyên văn những gì trang hiển thị.
- Chưa kiểm thử: bài kiểm thử không chạy xong được (ví dụ trình duyệt bị đứng) sẽ ghi rõ lý do. Một lần chạy không bao giờ được tính là đạt khi có bài kiểm thử không chạy được.
- Cần khóa: luồng đi đến một dịch vụ bạn chưa kết nối (như Stripe) được kiểm thử đến bước đó và đánh dấu bằng biểu tượng chìa khóa, cần khóa Stripe và liên kết Kết nối Stripe. Trường hợp này không tính là không đạt. Xem Trình kết nối.
- Kế hoạch tính năng: 4/5 tính năng đã kiểm thử hoạt động đúng: kết quả đối chiếu với kế hoạch của bạn.
Trong kế hoạch tính năng, các tính năng được gắn huy hiệu: Đã xác minh (đã kiểm tra trên trình duyệt thật), Không đạt QA hoặc Cần khóa.
Khi một bài kiểm thử không đạt thì sao?
Phần tiêu đề “Khi một bài kiểm thử không đạt thì sao?”QA tìm ra nguyên nhân. Tác nhân lần theo luồng bị lỗi qua mã, nhật ký và dữ liệu, rồi liệt kê các vấn đề trong mục Vấn đề gặp phải, mỗi vấn đề có một nhãn:
| Nhãn | Ý nghĩa |
|---|---|
| Lỗi | Ứng dụng làm sai một điều gì đó. |
| Chưa xây dựng | Tính năng chưa có. |
| Vấn đề kiểm thử | Ứng dụng chạy đúng; chính bài kiểm thử bị sai. QA sửa bài kiểm thử và thử lại. |
| Vấn đề xem trước | Bản xem trước bị sập hoặc chậm. QA khởi động lại và kiểm thử lại. |
| Cần bạn xử lý | Điều chỉ con người mới kiểm tra được: thanh toán thật, hộp thư không phải của bài kiểm thử, đăng nhập qua bên thứ ba, CAPTCHA. |
Mỗi vấn đề còn cho biết QA chắc chắn đến đâu (Đã xác nhận, Có khả năng hoặc Không rõ ràng), nguyên nhân và cách sửa. Mở Chi tiết kỹ thuật để xem bằng chứng.
Chỉ báo cáo hay Tự động sửa?
Phần tiêu đề “Chỉ báo cáo hay Tự động sửa?”Bạn chọn QA sẽ làm gì tiếp theo trong mục Khi QA phát hiện sự cố, ở menu QA hoặc Cài đặtChungKiểm thử bằng trình duyệt:
- Chỉ báo cáo (đề xuất). QA hiện các vấn đề phát hiện và hỏi trước mỗi lần sửa. Thẻ đưa ra Sửa vấn đề này (hoặc Sửa 3 vấn đề này), Kiểm thử lại cho vấn đề kiểm thử hay vấn đề xem trước, hoặc Để sau. Ứng dụng không thay đổi gì cho đến khi bạn nhấp.
- Tự động sửa. QA gửi các vấn đề đã chẩn đoán cho tác nhân MonstarX, kiểm tra thay đổi và tự kiểm thử lại. Cách này tốn nhiều điểm sử dụng hơn.
Một lần sửa diễn ra như mọi yêu cầu xây dựng: hiện trong cuộc trò chuyện dạng QA · lần sửa lỗi 1/3, lưu một phiên bản để bạn quay lại, rồi QA kiểm tra từng vấn đề (Đã sửa, Đã sửa một phần hoặc Chưa sửa) và chạy lại đúng các bài kiểm thử đó.
Sau ba lần sửa, hoặc khi phần còn lại cần con người, thẻ ghi Hãy tự kiểm tra các mục này và đưa cho bạn một danh sách kiểm tra: các bước, kết quả mong đợi, những gì kiểm thử tự động thấy và nguyên nhân nghi ngờ. Thử sửa thêm một lần cho tác nhân MonstarX thêm một cơ hội.
Thẻ tổng kết là gì?
Phần tiêu đề “Thẻ tổng kết là gì?”Khi mọi mục trong kế hoạch tính năng đã được xây dựng, cuộc trò chuyện hiện một thẻ tổng kết. Tiêu đề của thẻ cho biết bạn đang ở đâu:
- Đã xây dựng và kiểm thử xong mọi mục: mọi tính năng đã được xây dựng và QA đã đạt.
- Đã xây dựng xong mọi mục trong kế hoạch, kèm dòng QA chưa kiểm thử phiên bản này bằng trình duyệt thật: QA chưa chạy trên phiên bản này. Nhấp vào Xem lại kế hoạch QA, rồi Chạy QA.
- Đã xây dựng xong mọi mục trong kế hoạch — vẫn còn 1 vấn đề chưa giải quyết: QA đã chạy xong nhưng vẫn còn tồn đọng. Mục Chưa giải quyết đưa ra Thử sửa thêm một lần, hoặc đề nghị bạn mô tả những gì bạn thấy.
Trong mục Ý tưởng cho bước tiếp theo, MonstarX gợi ý ba đến năm tính năng hợp với ứng dụng của bạn. Nhấp vào Thêm (hoặc Thêm tất cả) để đưa chúng vào kế hoạch tính năng, rồi nhấp vào Xây dựng.
Làm sao để dừng hoặc chạy lại QA?
Phần tiêu đề “Làm sao để dừng hoặc chạy lại QA?”- Hủy trên thẻ QA dừng lần chạy ngay lập tức và giữ lại những gì đã phát hiện. Lần sửa chưa bắt đầu sẽ không bao giờ bắt đầu.
- Chạy QA ngay bây giờ trong menu QA bắt đầu một lần chạy mới.
- Menu QA cũng cho biết kết quả lần chạy gần nhất.
Chỉ chủ sở hữu dự án mới bắt đầu được QA. Người được chia sẻ dự án vẫn thấy các thẻ QA, nhưng không có nút bấm.
Câu hỏi thường gặp
Phần tiêu đề “Câu hỏi thường gặp”QA có tự chạy và tiêu điểm sử dụng của tôi không?
Không. QA chỉ đề xuất một kế hoạch và chờ bạn nhấp vào Chạy QA. Khi bật Tự động sửa, một lần chạy do bạn bắt đầu có thể tự sửa và kiểm thử lại, và việc này tốn thêm điểm sử dụng.
QA kiểm thử bao nhiêu luồng?
Tối đa 24 luồng mỗi lần chạy, theo từng nhóm nhỏ trình duyệt đám mây chạy song song. Với ứng dụng lớn hơn, một lần chạy khác có thể kiểm tra thêm các phần còn lại.
QA có kiểm thử được email ứng dụng gửi không?
Có. Mỗi tài khoản thử nghiệm có hộp thư thật, nên QA mở được email xác nhận hay email đặt lại mật khẩu và nhấp vào liên kết trong đó. Chỉ những hộp thư không phải của bài kiểm thử mới để bạn tự kiểm tra.
QA có kiểm thử được thanh toán hay đăng nhập bằng Google không?
Không trọn vẹn. Luồng đi đến một dịch vụ bạn chưa kết nối được đánh dấu Cần khóa. Thanh toán thật, đăng nhập qua bên thứ ba và CAPTCHA được liệt kê trong Cần bạn xử lý để một người kiểm tra.
Tôi có tiếp tục xây dựng được trong lúc QA chạy không?
Bạn vẫn dùng được bản xem trước, vì QA kiểm thử trên bản sao riêng của ứng dụng. Nếu bạn bắt đầu một lần xây dựng, QA sẽ dừng lần chạy. Khi xây dựng xong, QA đề nghị kiểm thử ứng dụng đã hoàn tất, và bạn chọn Chạy QA hoặc Để sau.
QA có để lại tài khoản thử nghiệm trong ứng dụng của tôi không?
Không. Khi một lần chạy kết thúc, các tài khoản thử nghiệm được xóa cùng mọi thứ chúng đã tạo.