실제 브라우저에서 하는 자동 QA 테스트

QA(품질 보증)는 앱이 정말 제대로 작동하는지 확인하는 일입니다. 방문자가 회원가입하고, 시간을 예약하고, 결제하고, 이메일을 받고, 봐야 할 화면을 제대로 보는지 확인합니다. 변경할 때마다 이 작업을 손으로 하면 몇 시간이 걸립니다.

MonstarX에는 이 일을 대신하는 QA 에이전트가 있습니다. QA 에이전트는 앱 코드를 읽어 무엇이 만들어졌는지 파악한 다음, 꼼꼼한 테스터처럼 클라우드의 실제 웹 브라우저에서 앱을 직접 클릭해 봅니다. 대화에 명확한 보고서와 모든 테스트의 영상이 표시되고, 실패한 곳을 고치는 데도 도움을 받을 수 있습니다.

QA는 빌드 확인과 무엇이 다른가요?

모든 빌드는 자동 빌드 검사로 끝납니다. 자동 빌드 검사는 알아서 실행되며 미리보기를 보호합니다. 코드가 작동해야 빌드가 끝납니다. 빌드 지켜보기를 참고하세요.

브라우저 QA는 한 걸음 더 나아갑니다. 사람처럼 앱을 흐름별로 사용해 보고, 각 흐름이 요청한 대로 작동하는지 확인합니다. 몇 분이 걸리고 크레딧을 쓰기 때문에 항상 먼저 묻습니다.

QA는 언제 실행되나요?

QA는 비용이 드는 실행을 절대 혼자 시작하지 않습니다. 실행을 제안하고, 결정은 내가 합니다.

첫 빌드 뒤와 큰 변경 뒤에는 대화에 QA 계획 준비됨 카드가 나타납니다. 카드에는 MonstarX가 무엇을 확인할지 적혀 있습니다. 시작하려면 QA 실행을, 건너뛰려면 나중에를 클릭하세요. 상단 바의 QA에서 언제든 나중에 실행할 수도 있습니다.

카드의 계획인 MonstarX가 확인할 사항에는 다음 내용이 나옵니다.

• 중점 분야: 이번 변경이 영향을 준 앱 부분.
• 브라우저에서: 작은 묶음으로 나눠 확인하는 주요 흐름(최대 24개).
• 제공되는 결과: 작동하는 부분, 확인이 필요한 부분, 확인하지 못한 부분을 정리한 명확한 보고서.
• QA가 문제를 발견한 경우: 문제를 보고만 할지 고치기까지 할지(아래 참고), 그리고 QA가 크레딧을 쓴다는 안내.

계획을 만든 뒤에 앱이 바뀌면 QA 실행이 새 계획을 요청합니다. 그래서 QA는 항상 현재 코드를 테스트합니다.

QA를 제안받는 시점은 어떻게 정하나요?

상단 바의 QA(브라우저 QA 제안 시점 아래)를 클릭하거나, 설정›일반›브라우저 QA(QA 제안 시점 아래)를 여세요. 다음 중 하나를 고르세요.

설정	동작
큰 변경 후(기본값)	큰 변경 뒤에 계획이 나타나고, 내 선택을 기다립니다.
요청 시	제안하지 않습니다. QA를 열 때만 계획이 표시됩니다.
모든 빌드 후에	앱을 변경할 때마다 계획이 나타납니다.

QA는 실행되는 동안 무엇을 하나요?

1. 코드 검토. QA 에이전트가 앱 코드를 읽고, 요청한 내용과 기능 계획에 비교합니다. 모든 기능을 완성, 일부 완성, 아직 만들지 않음으로 분류하고, 완료로 표시되었지만 끝나지 않은 부분도 기록합니다. 카드에는 ‘코드 검토 5개 완성 · 1개 일부 완성’처럼 표시됩니다.

2. 테스트 계획. 코드에 있는 실제 버튼과 페이지를 따라가는 짧은 브라우저 테스트를 최대 24개 작성합니다. 예: ‘회원가입하고, 30분 산책을 예약한 뒤, 취소하기’.

3. 브라우저. 테스트마다 각자의 클라우드 브라우저에서, 여러 개가 동시에 실행됩니다. 카드에 흐름 6개 동시 테스트 중… 6개 중 2개 완료처럼 표시됩니다. 실시간으로 보기를 클릭하면 실행 중인 테스트를 지켜볼 수 있습니다. 카드가 대화 창보다 길면, 스크롤하는 동안 제목과 현재 진행 중인 작업이 대화 창 아래쪽에 고정됩니다.

4. 결과. 테스트가 끝날 때마다 체크 표시가 되고, 걸린 시간과 녹화 영상을 보는 다시 보기 버튼이 표시됩니다.

진행 중인 실행: 테스트마다 각자의 클라우드 브라우저가 있습니다.

meongmeong-sanchaek.monstarx.app/signup

테스트의 클라우드 브라우저가 하는 일: 여기서는 자체 테스트 계정으로 회원가입하고, 헤더가 로그인 상태로 바뀝니다(빠르게 재생).

테스트를 실제 사용과 가깝게 만드는 장치가 몇 가지 있습니다.

• 테스트마다 새 테스트 계정으로 회원가입합니다. 그래서 테스트끼리 서로의 데이터에 걸려 넘어지지 않습니다.
• 테스트 계정에는 실제 받은편지함이 있습니다. 앱이 회원가입 확인이나 비밀번호 재설정 같은 이메일을 보내면, 테스터가 실제 고객처럼 메일을 열고 링크를 따라갑니다.
• QA는 앱의 사본을 따로 테스트합니다. QA가 작업하는 동안에도 미리보기를 계속 쓸 수 있습니다. 빌드를 시작하면 QA는 멈추고, 빌드가 끝나면 완성된 앱을 테스트하겠다고 제안합니다.
• 테스트 계정은 끝난 뒤 삭제됩니다. 테스트 계정이 만든 데이터도 함께 지워지므로 앱 데이터가 깨끗하게 유지됩니다.

결과는 어떻게 읽나요?

대화의 QA 카드 제목에 실행 결과가 요약됩니다. 예를 들어 테스트 7개 모두 통과 또는 테스트 7개 중 5개 통과처럼 표시됩니다.

제목 아래에는 다음 내용이 나옵니다.

• 각 테스트: 체크 또는 X 표시, 걸린 시간, 녹화 영상을 보는 다시 보기가 있습니다. 첫 번째 실패의 녹화 영상은 자동으로 열립니다.
• 실패한 테스트: 잘못된 단계(“예약하기”에서)와 페이지에 표시된 내용이 글자 그대로 나옵니다.
• 테스트하지 않음: 끝내지 못한 테스트(예: 브라우저가 더 이상 진행하지 못한 경우)는 이유를 알려 줍니다. 실행하지 못한 테스트가 있으면 그 실행은 절대 통과로 처리되지 않습니다.
• 키 필요: 아직 연결하지 않은 서비스(예: Stripe)에 닿는 흐름은 그 단계까지만 테스트되고, 열쇠 아이콘과 ‘Stripe 키가 필요합니다’, Stripe 연결 링크가 표시됩니다. 실패로 세지 않습니다. 커넥터를 참고하세요.
• 기능 계획: 테스트한 기능 5개 중 4개 작동: 결과가 계획과 어떻게 맞아떨어지는지 보여 줍니다.

기능 계획의 기능에는 확인됨(실제 브라우저에서 확인), QA 실패, 키 필요 배지가 붙습니다.

테스트가 실패하면 어떻게 되나요?

QA가 원인을 찾아냅니다. 실패한 흐름을 코드, 로그, 데이터에서 추적하고, 문제점 아래에 문제를 나열합니다. 문제마다 라벨이 붙습니다.

라벨	의미
버그	앱이 잘못 작동합니다.
미완성	아직 그 기능이 없습니다.
테스트 문제	앱은 작동하고, 테스트 자체가 잘못되었습니다. QA가 테스트를 고쳐 다시 시도합니다.
미리보기 문제	미리보기가 멈췄거나 느렸습니다. QA가 미리보기를 다시 시작하고 다시 테스트합니다.
사용자 조치 필요	사람만 확인할 수 있는 부분입니다. 실제 결제, 테스트 계정의 것이 아닌 받은편지함, 외부 서비스 로그인, CAPTCHA 등이 해당합니다.

문제마다 QA가 얼마나 확신하는지(확인됨, 가능성 높음, 불명확), 원인, 해결 방법도 표시됩니다. 근거를 보려면 기술 세부 정보를 여세요.

보고만 할까요, 자동으로 고칠까요?

QA가 다음에 할 일은 QA 메뉴나 설정›일반›브라우저 QA의 QA가 문제를 발견한 경우에서 고릅니다.

• 보고만 하기(권장). QA가 발견 사항을 보여 주고, 수정할 때마다 먼저 묻습니다. 카드에 이 문제 수정(또는 이 문제 3개 수정), 테스트 문제나 미리보기 문제라면 다시 테스트, 또는 나중에가 표시됩니다. 클릭하기 전까지 앱은 바뀌지 않습니다.
• 자동 수정. QA가 진단한 문제를 MonstarX에 보내 고치게 하고, 변경을 확인한 뒤 알아서 다시 테스트합니다. 크레딧을 더 씁니다.

수정은 일반 빌드 요청과 똑같이 진행됩니다. 대화에 ‘QA · 수정 시도 1/3’으로 표시되고, 되돌아갈 수 있는 버전이 남습니다. 그런 다음 QA가 문제마다 결과(수정됨, 부분적으로 수정됨, 수정되지 않음)를 확인하고 같은 테스트를 다시 실행합니다.

수정을 세 번 시도했거나 남은 문제가 사람의 확인을 필요로 하면, 카드에 직접 확인해 주세요와 함께 체크리스트가 표시됩니다. 단계, 기대하는 결과, 자동 테스트가 본 내용, 추정 원인이 정리되어 있습니다. 한 번 더 수정하기를 클릭하면 MonstarX가 한 번 더 시도합니다.

주의

QA는 코드 검토, 브라우저, 진단에 크레딧을 씁니다. 수정과 재테스트는 자동 수정이 켜져 있거나 직접 선택할 때만 크레딧을 더 씁니다. 사용량과 한도를 참고하세요.

마무리 카드란 무엇인가요?

기능 계획의 모든 기능이 만들어지면 대화에 마무리 카드가 표시됩니다. 카드 제목으로 현재 상황을 알 수 있습니다.

• 모든 기능을 만들고 테스트했습니다: 모든 기능이 만들어졌고 QA도 통과했습니다.
• 계획한 기능을 모두 만들었습니다와 ‘QA는 아직 실제 브라우저에서 이 버전을 테스트하지 않았습니다.’: 이 버전에서는 아직 QA가 실행되지 않았습니다. QA 계획 검토를 클릭한 다음 QA 실행을 클릭하세요.
• 계획한 기능을 모두 만들었습니다. 문제 1개 미해결: QA가 끝났지만 남은 문제가 있습니다. 미해결 섹션에서 한 번 더 수정하기를 고르거나, 보이는 내용을 직접 설명할 수 있습니다.

다음에 해 볼 만한 것에서 MonstarX가 앱에 어울리는 기능을 세 개에서 다섯 개 제안합니다. 추가(또는 …개 모두 추가)를 클릭해 기능 계획에 넣은 다음 만들기를 클릭하세요.

QA는 어떻게 멈추거나 다시 시작하나요?

• QA 카드의 취소를 누르면 실행이 바로 멈추고, 그때까지 발견한 내용은 남습니다. 아직 시작하지 않은 수정은 시작되지 않습니다.
• QA 메뉴의 지금 QA 실행을 누르면 새로 실행합니다.
• QA 메뉴에는 마지막 실행 결과도 표시됩니다.

QA는 프로젝트 소유자만 시작할 수 있습니다. 프로젝트를 공유받은 사람에게는 QA 카드가 버튼 없이 보입니다.

자주 묻는 질문

QA가 알아서 실행되어 크레딧을 쓰나요?

아니요. QA는 계획을 제안하고, 내가 QA 실행을 클릭할 때까지 기다립니다. 자동 수정을 켜 두면 내가 시작한 실행이 이어서 알아서 고치고 다시 테스트할 수 있으며, 이때 크레딧을 더 씁니다.

QA는 흐름을 몇 개까지 테스트하나요?

실행 한 번에 최대 24개까지, 클라우드 브라우저를 작은 묶음으로 나란히 실행해 테스트합니다. 큰 앱이라면 한 번 더 실행해 남은 영역을 더 확인할 수 있습니다.

QA로 앱이 보내는 이메일도 테스트할 수 있나요?

네. 테스트 계정마다 실제 받은편지함이 있어서, QA가 확인 메일이나 비밀번호 재설정 메일을 열고 링크를 따라갈 수 있습니다. 테스트 계정의 것이 아닌 받은편지함만 직접 확인하면 됩니다.

QA로 결제나 Google 로그인도 테스트할 수 있나요?

처음부터 끝까지는 안 됩니다. 연결하지 않은 서비스에 닿는 흐름에는 키 필요가 표시됩니다. 실제 결제, 외부 서비스 로그인, CAPTCHA는 사람이 확인하도록 사용자 조치 필요에 나열됩니다.

QA가 실행되는 동안 계속 앱을 만들 수 있나요?

QA는 앱의 사본을 따로 테스트하므로 미리보기는 계속 쓸 수 있습니다. 빌드를 시작하면 QA는 실행을 멈춥니다. 빌드가 끝나면 완성된 앱을 테스트하겠다고 제안하고, QA 실행 또는 나중에를 고를 수 있습니다.

QA가 앱에 테스트 계정을 남기나요?

아니요. 실행이 끝나면 테스트 계정은 그 계정이 만든 데이터와 함께 삭제됩니다.

관련 문서

보안 검사앱에 보안 허점이 있는지 확인합니다.

기능 계획QA의 확인됨 배지가 표시되는 곳.

빌드 지켜보기변경할 때마다 빌드 확인이 하는 일.

버전수정 전 버전으로 되돌아갑니다.