การทดสอบ QA อัตโนมัติในเบราว์เซอร์จริง
สรุปสั้น ๆหลังการเปลี่ยนแปลงใหญ่ MonstarX จะเสนอแผน QA คลิก รัน QA แล้วเอเจนต์ QA จะอ่านโค้ด จากนั้นทดสอบเส้นทางสำคัญสูงสุด 24 เส้นทาง (สมัครใช้งาน จอง ชำระเงิน…) ในเบราว์เซอร์จริงบนคลาวด์ แต่ละเส้นทางใช้บัญชีทดสอบใหม่และกล่องจดหมายจริง คุณจะได้รายงานในแชทพร้อมวิดีโอบันทึกทุกการทดสอบ และการวิเคราะห์สาเหตุของทุกจุดที่ไม่ผ่าน ถ้าเลือกรายงานเท่านั้น คุณเลือกเองว่าจะแก้อะไร ถ้าเลือกแก้ไขอัตโนมัติ MonstarX จะแก้และทดสอบซ้ำเอง QA ใช้เครดิตและไม่เริ่มเองโดยที่คุณไม่ได้สั่ง
QA (quality assurance) คือการตรวจว่าแอปใช้งานได้จริง ผู้เข้าชมสมัครใช้งานได้ จองเวลาได้ ชำระเงินได้ ได้รับอีเมล และเห็นสิ่งที่ควรเห็น ถ้าทำเองทุกครั้งที่มีการเปลี่ยนแปลงต้องใช้เวลาหลายชั่วโมง
MonstarX มีเอเจนต์ QA ที่ทำงานนี้แทนคุณ เอเจนต์อ่านโค้ดของแอปเพื่อดูว่าสร้างอะไรไว้บ้าง แล้ว คลิกใช้งานแอปในเว็บเบราว์เซอร์จริงบนคลาวด์ เหมือนผู้ทดสอบที่ละเอียดรอบคอบ คุณจะได้รายงานที่ชัดเจนในแชท วิดีโอของทุกการทดสอบ และความช่วยเหลือในการแก้จุดที่ไม่ผ่าน
QA ต่างจากการตรวจสอบตอนสร้างอย่างไร
หัวข้อที่มีชื่อว่า “QA ต่างจากการตรวจสอบตอนสร้างอย่างไร”งานสร้างทุกครั้งจบด้วย การตรวจสอบการสร้างอัตโนมัติ ซึ่งทำงานเองและปกป้องพรีวิว โค้ดต้องใช้งานได้ก่อนงานสร้างจะเสร็จ ดู ติดตามงานสร้าง
QA ในเบราว์เซอร์ไปไกลกว่านั้น โดยใช้แอปแบบที่คนใช้จริงทีละเส้นทาง และตรวจว่าแต่ละเส้นทางทำงานตามที่คุณขอ ใช้เวลาไม่กี่นาทีและใช้เครดิต จึงถามคุณก่อนทุกครั้ง
QA ทำงานเมื่อไร
หัวข้อที่มีชื่อว่า “QA ทำงานเมื่อไร”QA ไม่เริ่มการรันที่เสียเครดิตเอง QA แค่ เสนอ แล้วให้คุณตัดสินใจ
หลังงานสร้างแรกและหลังการเปลี่ยนแปลงที่ใหญ่ขึ้น จะมีการ์ด แผน QA พร้อมแล้ว ขึ้นในแชท บอกว่า MonstarX จะตรวจอะไร คลิก รัน QA เพื่อเริ่ม หรือ ภายหลัง เพื่อข้ามไปก่อน คุณรัน QA ภายหลังได้เสมอจาก QA ในแถบด้านบน
แผนในการ์ด MonstarX จะตรวจสอบอะไร บอกคุณว่า
- ส่วนที่เน้นตรวจสอบ คือส่วนของแอปที่การเปลี่ยนแปลงไปแตะ
- ในเบราว์เซอร์ ทดสอบเส้นทางสำคัญสูงสุด 24 เส้นทาง แบ่งเป็นชุดเล็ก ๆ
- สิ่งที่คุณจะได้รับ รายงานที่ชัดเจนว่าอะไรใช้งานได้ อะไรต้องตรวจสอบ และอะไรตรวจไม่ได้
- หาก QA พบปัญหา จะแค่รายงานหรือจะแก้ให้ด้วย (ดูด้านล่าง) และบอกว่า QA ใช้เครดิต
ถ้าแอปเปลี่ยนไปหลังจากที่ทำแผนไว้ รัน QA จะขอแผนใหม่ QA จึงทดสอบโค้ดที่คุณมีอยู่ตอนนี้เสมอ
เลือกได้ไหมว่าจะให้เสนอ QA เมื่อไร
หัวข้อที่มีชื่อว่า “เลือกได้ไหมว่าจะให้เสนอ QA เมื่อไร”คลิก QA ในแถบด้านบน (ใต้ เมื่อใดควรแนะนำให้รัน QA ในเบราว์เซอร์) หรือเปิด การตั้งค่าทั่วไปQA ในเบราว์เซอร์ (ใต้ เมื่อใดควรแนะนำ QA) แล้วเลือกหนึ่งอย่าง
| การตั้งค่า | สิ่งที่เกิดขึ้น |
|---|---|
| หลังจากการเปลี่ยนแปลงครั้งสำคัญ (ค่าเริ่มต้น) | แผนจะขึ้นหลังการเปลี่ยนแปลงที่ใหญ่ขึ้น และรอให้คุณเลือก |
| ตามคำขอ | ไม่เสนอเอง แผนจะแสดงเฉพาะตอนที่คุณเปิด QA |
| หลังจากสร้างทุกครั้ง | แผนจะขึ้นหลังการเปลี่ยนแปลงแอปทุกครั้ง |
ระหว่างรัน QA ทำอะไรบ้าง
หัวข้อที่มีชื่อว่า “ระหว่างรัน QA ทำอะไรบ้าง”-
ตรวจสอบโค้ด เอเจนต์ QA อ่านโค้ดของแอปแล้วเทียบกับสิ่งที่คุณขอและ แผนฟีเจอร์ จัดแต่ละฟีเจอร์ว่าสร้างแล้ว สร้างแล้วบางส่วน หรือยังไม่ได้สร้าง และจดไว้หากมีอะไรที่บอกว่าเสร็จแต่ยังไม่เสร็จจริง การ์ดแสดงผลส่วนนี้เป็น ตรวจสอบโค้ด สร้างแล้ว 5 รายการ · สร้างแล้วบางส่วน 1 รายการ
-
แผนการทดสอบ เขียนการทดสอบสั้น ๆ ในเบราว์เซอร์ได้สูงสุด 24 รายการ ที่ใช้ปุ่มและหน้าจริงในโค้ดของคุณ เช่น สมัครใช้งาน จองพาสุนัขเดิน 30 นาที แล้วยกเลิก
-
เบราว์เซอร์ การทดสอบแต่ละรายการรันในเบราว์เซอร์บนคลาวด์ของตัวเอง หลายรายการพร้อมกัน การ์ดจะขึ้นว่า กำลังทดสอบเส้นทางการใช้งาน 6 เส้นทางพร้อมกัน… เสร็จแล้ว 2 จาก 6 คลิก ชมสด เพื่อดูการทดสอบระหว่างที่รัน เมื่อการ์ดสูงกว่าแชท หัวข้อและสิ่งที่กำลังทำอยู่จะติดอยู่ด้านล่างของแชทขณะที่คุณเลื่อน
-
ผลลัพธ์ การทดสอบแต่ละรายการจะได้เครื่องหมายถูกเมื่อเสร็จ พร้อมเวลาที่ใช้และปุ่ม เล่นซ้ำ สำหรับดูวิดีโอบันทึก
สิ่งที่ทำให้การทดสอบใกล้เคียงการใช้งานจริง
- ทุกการทดสอบสมัครใช้งานด้วยบัญชีทดสอบใหม่ของตัวเอง การทดสอบจึงไม่ไปชนข้อมูลของกันและกัน
- บัญชีทดสอบมีกล่องจดหมายจริง เมื่อแอปส่งอีเมล เช่น อีเมลยืนยันการสมัครหรือรีเซ็ตรหัสผ่าน ผู้ทดสอบจะเปิดอีเมลและคลิกลิงก์เหมือนลูกค้าจริง
- QA ทดสอบสำเนาแอปของตัวเอง คุณใช้พรีวิวต่อได้ระหว่างที่ QA ทำงาน ถ้าคุณเริ่มงานสร้าง QA จะหยุด และเมื่องานสร้างเสร็จจะเสนอให้ทดสอบแอปที่เสร็จแล้วแทน
- บัญชีทดสอบจะถูกลบหลังทดสอบเสร็จ พร้อมสิ่งที่บัญชีเหล่านั้นสร้างไว้ ข้อมูลของแอปจึงยังสะอาด
อ่านผลลัพธ์อย่างไร
หัวข้อที่มีชื่อว่า “อ่านผลลัพธ์อย่างไร”การ์ด QA ในแชทสรุปการรันไว้ที่หัวข้อ เช่น การทดสอบทั้งหมด 7 รายการผ่านแล้ว หรือ การทดสอบ 7 รายการ ผ่าน 5 รายการ
ใต้หัวข้อจะเห็น
- การทดสอบแต่ละรายการ มีเครื่องหมายถูกหรือกากบาท เวลาที่ใช้ และ เล่นซ้ำ สำหรับดูวิดีโอบันทึก วิดีโอของรายการแรกที่ไม่ผ่านจะเปิดขึ้นเอง
- การทดสอบที่ไม่ผ่าน บอกขั้นตอนที่ผิดพลาด (ที่ “จองพาสุนัขเดิน”) และสิ่งที่หน้าเว็บแสดงแบบคำต่อคำ
- ไม่ได้ทดสอบ การทดสอบที่ทำไม่เสร็จ (เช่น เบราว์เซอร์ไม่คืบหน้า) จะบอกเหตุผล การรันจะไม่ถูกนับว่าผ่านเมื่อมีการทดสอบที่รันไม่ได้
- ต้องเพิ่มคีย์ เส้นทางที่ไปถึงบริการที่คุณยังไม่ได้เชื่อมต่อ (เช่น Stripe) จะถูกทดสอบจนถึงขั้นตอนนั้น และมีไอคอนกุญแจ ข้อความ ต้องเพิ่มคีย์ Stripe และลิงก์ เชื่อมต่อ Stripe โดยไม่นับว่าไม่ผ่าน ดู ตัวเชื่อมต่อ
- แผนฟีเจอร์: ฟีเจอร์ที่ทดสอบใช้งานได้ 4 จาก 5 บอกว่าผลลัพธ์ตรงกับแผนของคุณอย่างไร
ใน แผนฟีเจอร์ ฟีเจอร์จะได้ป้าย ตรวจสอบแล้ว (ตรวจในเบราว์เซอร์จริงแล้ว) QA ล้มเหลว หรือ ต้องเพิ่มคีย์
เมื่อการทดสอบไม่ผ่านจะเกิดอะไรขึ้น
หัวข้อที่มีชื่อว่า “เมื่อการทดสอบไม่ผ่านจะเกิดอะไรขึ้น”QA จะหาสาเหตุ โดยไล่เส้นทางที่ไม่ผ่านผ่านโค้ด บันทึก และข้อมูลของแอป แล้วแสดงปัญหาใต้ มีอะไรผิดปกติ แต่ละปัญหามีป้ายกำกับ
| ป้าย | ความหมาย |
|---|---|
| ข้อผิดพลาด | แอปทำงานผิด |
| ยังไม่ได้สร้าง | ยังไม่มีฟีเจอร์นี้ |
| ปัญหาการทดสอบ | แอปใช้งานได้ แต่ตัวการทดสอบผิดเอง QA จะแก้การทดสอบแล้วลองใหม่ |
| ปัญหาพรีวิว | พรีวิวล่มหรือช้า QA จะรีสตาร์ทพรีวิวแล้วทดสอบใหม่ |
| ต้องให้คุณช่วย | สิ่งที่ต้องให้คนตรวจเท่านั้น เช่น การชำระเงินจริง กล่องจดหมายที่ไม่ใช่ของบัญชีทดสอบ การลงชื่อเข้าใช้ผ่านบริการภายนอก หรือ CAPTCHA |
แต่ละปัญหายังบอกว่า QA มั่นใจแค่ไหน (ยืนยันแล้ว มีแนวโน้ม หรือ ไม่ชัดเจน) สาเหตุ และวิธีแก้ เปิด รายละเอียดทางเทคนิค เพื่อดูหลักฐาน
รายงานเท่านั้น หรือแก้ไขอัตโนมัติ
หัวข้อที่มีชื่อว่า “รายงานเท่านั้น หรือแก้ไขอัตโนมัติ”คุณเลือกได้ว่า QA จะทำอะไรต่อ ใต้ เมื่อ QA พบปัญหา ในเมนู QA หรือใน การตั้งค่าทั่วไปQA ในเบราว์เซอร์
- รายงานเท่านั้น (แนะนำ) QA แสดงปัญหาที่พบและถามก่อนแก้ทุกครั้ง การ์ดจะมีปุ่ม แก้ไขปัญหานี้ (หรือ แก้ไขปัญหาเหล่านี้ 3 รายการ) ทดสอบอีกครั้ง สำหรับปัญหาการทดสอบหรือปัญหาพรีวิว หรือ ภายหลัง แอปจะไม่เปลี่ยนอะไรจนกว่าคุณจะคลิก
- แก้ไขอัตโนมัติ QA ส่งปัญหาที่วิเคราะห์แล้วให้เอเจนต์ MonstarX ตรวจการเปลี่ยนแปลง และทดสอบซ้ำเอง วิธีนี้ใช้เครดิตมากกว่า
การแก้ไขทำงานเหมือนคำขอสร้างทั่วไป จะขึ้นในแชทเป็น QA · ลองแก้ไขครั้งที่ 1 จาก 3 เก็บ เวอร์ชัน ไว้ให้ย้อนกลับได้ จากนั้น QA จะตรวจแต่ละปัญหา (แก้ไขแล้ว แก้ไขแล้วบางส่วน หรือ ยังไม่ได้แก้ไข) และรันการทดสอบชุดเดิมอีกครั้ง
หลังลองแก้ครบ 3 ครั้ง หรือเมื่อสิ่งที่เหลือต้องให้คนตรวจ การ์ดจะขึ้นว่า โปรดตรวจสอบรายการเหล่านี้ด้วยตนเอง พร้อมรายการตรวจสอบ ได้แก่ ขั้นตอน สิ่งที่ควรเกิดขึ้น สิ่งที่การทดสอบอัตโนมัติเห็น และสาเหตุที่สงสัย ลองแก้ไขอีกครั้งหนึ่ง จะให้เอเจนต์ MonstarX ลองแก้อีก 1 ครั้ง
การ์ดสรุปคืออะไร
หัวข้อที่มีชื่อว่า “การ์ดสรุปคืออะไร”เมื่อทุกอย่างในแผนฟีเจอร์สร้างเสร็จ แชทจะแสดงการ์ดสรุป หัวข้อของการ์ดบอกว่าตอนนี้อยู่ตรงไหน
- สร้างและทดสอบครบแล้ว ทุกฟีเจอร์สร้างเสร็จและผ่าน QA แล้ว
- สร้างครบตามแผนแล้ว พร้อมข้อความ QA ยังไม่ได้ทดสอบเวอร์ชันนี้ในเบราว์เซอร์จริง หมายถึงยังไม่ได้รัน QA กับเวอร์ชันนี้ คลิก ทบทวนแผน QA แล้วคลิก รัน QA
- สร้างครบตามแผนแล้ว แต่ยังเหลือปัญหาที่ยังไม่ได้แก้ 1 รายการ QA ทำงานเสร็จแต่ยังมีปัญหาเหลืออยู่ ส่วน ยังไม่ได้แก้ มีปุ่ม ลองแก้ไขอีกครั้งหนึ่ง หรือให้คุณอธิบายสิ่งที่เห็น
ใต้ ไอเดียสำหรับขั้นต่อไป MonstarX จะเสนอฟีเจอร์ 3 ถึง 5 รายการที่เหมาะกับแอป คลิก เพิ่ม (หรือ เพิ่มทั้งหมด) เพื่อใส่ลงในแผนฟีเจอร์ แล้วคลิก สร้างรายการนี้ หรือ สร้างรายการเหล่านี้
หยุดหรือเริ่ม QA ใหม่อย่างไร
หัวข้อที่มีชื่อว่า “หยุดหรือเริ่ม QA ใหม่อย่างไร”- ยกเลิก ในการ์ด QA หยุดการรันทันที โดยเก็บสิ่งที่พบไว้ การแก้ไขที่ยังไม่เริ่มจะไม่เริ่มอีก
- รัน QA ตอนนี้ ในเมนู QA เริ่มการรันใหม่
- เมนู QA ยังแสดงผลของการรันครั้งล่าสุดด้วย
เจ้าของโปรเจกต์เท่านั้นที่เริ่ม QA ได้ คนที่คุณแชร์โปรเจกต์ให้จะเห็นการ์ด QA แต่ไม่มีปุ่ม
คำถามที่พบบ่อย
หัวข้อที่มีชื่อว่า “คำถามที่พบบ่อย”QA รันเองและใช้เครดิตของฉันไหม
ไม่ QA แค่เสนอแผนแล้วรอให้คุณคลิก รัน QA ถ้าเปิด แก้ไขอัตโนมัติ ไว้ การรันที่คุณเริ่มอาจแก้และทดสอบซ้ำต่อเอง ซึ่งใช้เครดิตมากกว่า
QA ทดสอบได้กี่เส้นทาง
สูงสุด 24 เส้นทางต่อการรัน แบ่งเป็นชุดเล็ก ๆ ของเบราว์เซอร์บนคลาวด์ที่รันพร้อมกัน สำหรับแอปที่ใหญ่ขึ้น การรันอีกครั้งจะตรวจส่วนที่เหลือได้มากขึ้น
QA ทดสอบอีเมลที่แอปส่งได้ไหม
ได้ บัญชีทดสอบแต่ละบัญชีมีกล่องจดหมายจริง QA จึงเปิดอีเมลยืนยันหรืออีเมลรีเซ็ตรหัสผ่านแล้วคลิกลิงก์ได้ มีเพียงกล่องจดหมายที่ไม่ใช่ของบัญชีทดสอบเท่านั้นที่คุณต้องตรวจเอง
QA ทดสอบการชำระเงินหรือการลงชื่อเข้าใช้ด้วย Google ได้ไหม
ไม่ได้ทั้งเส้นทาง เส้นทางที่ไปถึงบริการที่คุณยังไม่ได้เชื่อมต่อจะมีป้าย ต้องเพิ่มคีย์ ส่วนการชำระเงินจริง การลงชื่อเข้าใช้ผ่านบริการภายนอก และ CAPTCHA จะอยู่ใต้ ต้องให้คุณช่วย ให้คนตรวจ
สร้างแอปต่อระหว่างที่ QA รันได้ไหม
ใช้พรีวิวต่อได้ เพราะ QA ทดสอบสำเนาแอปของตัวเอง ถ้าคุณเริ่มงานสร้าง QA จะหยุดการรัน เมื่องานสร้างเสร็จ QA จะเสนอให้ทดสอบแอปที่เสร็จแล้ว และคุณเลือก รัน QA หรือ ภายหลัง
QA จะทิ้งบัญชีทดสอบไว้ในแอปไหม
ไม่ เมื่อการรันจบ บัญชีทดสอบจะถูกลบพร้อมสิ่งที่บัญชีเหล่านั้นสร้างไว้