Testes de QA automatizados em um navegador real
ResumindoDepois de uma mudança grande, o MonstarX oferece um plano de QA. Clique em Executar QA e o agente de QA lê seu código e testa até 24 jornadas importantes (cadastro, agendamento, pagamento…) em navegadores reais na nuvem, cada uma com uma conta de teste nova e uma caixa de entrada de verdade. Você recebe um relatório no chat com a gravação de cada teste e um diagnóstico de tudo o que falhar. Com Apenas reportar, você escolhe o que corrigir; com Corrigir automaticamente, o MonstarX corrige e testa de novo sozinho. O QA usa créditos e nunca começa sem você.
QA (do inglês quality assurance, garantia de qualidade) é conferir se um app funciona de verdade: se um visitante consegue criar uma conta, agendar um horário, pagar, receber o e-mail e ver o que deveria. Fazer isso na mão depois de cada mudança leva horas.
O MonstarX tem um agente de QA que faz isso por você. Ele lê o código do app para entender o que foi criado e depois navega pelo seu app em navegadores reais na nuvem, como um testador cuidadoso faria. Você recebe um relatório claro no chat, um vídeo de cada teste e ajuda para corrigir o que falhar.
Qual é a diferença entre o QA e as verificações da criação?
Seção intitulada “Qual é a diferença entre o QA e as verificações da criação?”Toda criação termina com as Verificações automáticas de criação. Elas rodam sozinhas e protegem a prévia: o código precisa funcionar para a criação ser concluída. Veja Acompanhe uma criação.
O QA no navegador vai além: ele usa o app como uma pessoa usaria, jornada por jornada, e confere se cada uma faz o que você pediu. Leva alguns minutos e usa créditos, por isso sempre pergunta antes.
Quando o QA roda?
Seção intitulada “Quando o QA roda?”O QA nunca inicia uma execução paga por conta própria. Ele sugere uma, e você decide.
Depois da primeira criação e de mudanças maiores, aparece um cartão no chat: Plano de QA pronto. Ele diz o que o MonstarX vai verificar. Clique em Executar QA para começar ou em Depois para pular. Você sempre pode rodar o QA mais tarde pelo botão QA na barra superior.
O plano do cartão, O que o MonstarX vai verificar, mostra:
- Áreas de foco: as partes do app que a mudança afetou.
- No navegador: até 24 jornadas importantes, verificadas em pequenos lotes.
- O que você vai receber: um relatório claro do que funciona, do que precisa de atenção e do que não pôde ser verificado.
- Se o QA encontrar problemas: se ele vai só reportar ou também corrigir (veja abaixo), e o aviso de que o QA usa créditos.
Se o app mudar depois que o plano foi feito, Executar QA pede um plano novo, para que o QA sempre teste o código atual.
Como escolho quando o QA é sugerido?
Seção intitulada “Como escolho quando o QA é sugerido?”Clique em QA na barra superior (em Quando sugerir QA no navegador) ou abra ConfiguraçõesGeralQA no navegador (em Quando sugerir QA). Escolha uma opção:
| Opção | O que acontece |
|---|---|
| Após mudanças significativas (o padrão) | Um plano aparece depois de mudanças maiores e espera sua escolha. |
| Sob solicitação | Nenhuma sugestão. O plano só aparece quando você abre o QA. |
| Após cada criação | Um plano aparece depois de cada mudança no app. |
O que o QA faz enquanto roda?
Seção intitulada “O que o QA faz enquanto roda?”-
Revisão de código. O agente de QA lê o código do app e compara com o que você pediu e com o seu plano de funcionalidades. Ele classifica cada funcionalidade como criada, parcialmente criada ou ainda não criada, e anota o que foi dado como pronto, mas está incompleto. O cartão mostra isso como Revisão de código: 5 criadas · 1 parcialmente criada.
-
Plano de testes. Ele escreve até 24 testes curtos de navegador que seguem os botões e as páginas reais do seu código: criar uma conta, agendar um passeio de 30 minutos, cancelar.
-
Navegadores. Cada teste roda no próprio navegador na nuvem, vários ao mesmo tempo. O cartão mostra Testando 6 fluxos ao mesmo tempo… 2 de 6 concluídos. Clique em Acompanhar ao vivo para assistir a um teste enquanto ele roda. Quando o cartão fica mais alto que o chat, o título e o que está acontecendo no momento ficam fixos na parte de baixo do chat enquanto você rola.
-
Resultados. Cada teste é marcado quando termina, com quanto tempo levou e um botão Reproduzir para ver a gravação.
Alguns cuidados deixam os testes realistas:
- Cada teste cria a própria conta de teste, novinha, para que os testes nunca esbarrem nos dados uns dos outros.
- As contas de teste têm caixas de entrada reais. Quando o app envia um e-mail, como uma confirmação de cadastro ou uma redefinição de senha, o testador abre a mensagem e segue o link, como um cliente faria.
- O QA testa a própria cópia do seu app. Você pode continuar usando a prévia enquanto ele trabalha. Se você iniciar uma criação, o QA para e, quando a criação termina, oferece testar o app pronto.
- As contas de teste são removidas depois, junto com o que criaram, para que os dados do app continuem limpos.
Como leio os resultados?
Seção intitulada “Como leio os resultados?”O cartão de QA no chat resume a execução no título, por exemplo 7 testes passaram ou 5 de 7 testes passaram.
Abaixo do título você vê:
- Cada teste, com um visto ou um X, o tempo que levou e o botão Reproduzir da gravação. A reprodução da primeira falha abre sozinha.
- Em um teste que falhou: a etapa que deu errado (Em “Agendar um passeio”) e o que a página mostrou, palavra por palavra.
- Não testado: um teste que não conseguiu terminar (por exemplo, o navegador parou de avançar) explica o motivo. Uma execução nunca é considerada aprovada quando algum teste não pôde rodar.
- Precisa de chaves: uma jornada que chega a um serviço que você ainda não conectou (como o Stripe) é testada até essa etapa e marcada com um ícone de chave, precisa das chaves do Stripe e um link Conectar Stripe. Isso não conta como falha. Veja Conectores.
- Plano de funcionalidades: 4 de 5 funcionalidades testadas funcionam: como os resultados se relacionam com o seu plano.
No plano de funcionalidades, as funcionalidades ganham um selo: Verificada (conferida em um navegador real), QA falhou ou Precisa de chaves.
O que acontece quando um teste falha?
Seção intitulada “O que acontece quando um teste falha?”O QA descobre o porquê. Ele rastreia a jornada que falhou pelo código, pelos logs e pelos dados, e lista os problemas em O que está errado, cada um com uma etiqueta:
| Etiqueta | Significado |
|---|---|
| Bug | O app faz algo errado. |
| Não criado | A funcionalidade ainda não existe. |
| Problema no teste | O app funciona; o teste é que estava errado. O QA corrige o teste e tenta de novo. |
| Problema na prévia | A prévia estava fora do ar ou lenta. O QA a reinicia e testa de novo. |
| Precisa de você | Algo que só uma pessoa pode conferir: pagamentos reais, uma caixa de entrada que não é a do teste, um login de terceiros, um CAPTCHA. |
Cada problema também informa o grau de certeza do QA (Confirmado, Provável ou Incerto), a causa e a correção. Abra Detalhes técnicos para ver as evidências.
Apenas reportar ou Corrigir automaticamente?
Seção intitulada “Apenas reportar ou Corrigir automaticamente?”Você escolhe o que o QA faz em seguida em Quando o QA encontrar um problema, no menu QA ou em ConfiguraçõesGeralQA no navegador:
- Apenas reportar (recomendado). O QA mostra o que encontrou e pergunta antes de cada correção. O cartão oferece Corrigir este problema (ou Corrigir 3 problemas), Testar novamente para um problema no teste ou na prévia, ou Depois. Nada muda no app até você clicar.
- Corrigir automaticamente. O QA envia os problemas diagnosticados ao agente do MonstarX, confere a mudança e testa de novo sozinho. Isso usa mais créditos.
Uma correção funciona como qualquer solicitação de criação: aparece no chat como QA · tentativa de correção 1 de 3, guarda uma versão para a qual você pode voltar e, depois, o QA confere cada problema (Corrigido, Parcialmente corrigido ou Não corrigido) e roda os mesmos testes de novo.
Depois de três tentativas de correção, ou quando o que sobrou precisa de uma pessoa, o cartão diz Verifique esses itens você mesmo e entrega uma lista de verificação: as etapas, o que deveria acontecer, o que o teste automatizado viu e a causa provável. Tentar mais uma correção dá ao agente do MonstarX mais uma chance.
O que é o cartão de encerramento?
Seção intitulada “O que é o cartão de encerramento?”Quando tudo no seu plano de funcionalidades está criado, o chat mostra um cartão de encerramento. O título diz em que ponto você está:
- Tudo foi criado e testado: todas as funcionalidades foram criadas e o QA passou.
- Tudo no plano foi criado, com O QA ainda não testou esta versão em um navegador real: o QA não rodou nesta versão. Clique em Revisar plano de QA e depois em Executar QA.
- Tudo no plano foi criado — 1 problema ainda em aberto: o QA terminou com algo pendente. A seção Ainda em aberto oferece Tentar mais uma correção ou pede que você descreva o que está vendo.
Em Ideias para o próximo passo, o MonstarX sugere de três a cinco funcionalidades que combinam com o seu app. Clique em Adicionar (ou em Adicionar todas as …, com a quantidade) para incluí-las no plano de funcionalidades e depois em Criar ou Criar todas.
Como paro ou reinicio o QA?
Seção intitulada “Como paro ou reinicio o QA?”- Cancelar no cartão de QA interrompe a execução na hora e mantém o que já foi encontrado. Uma correção que ainda não tinha começado não começa mais.
- Executar QA agora, no menu QA, inicia uma nova execução.
- O menu QA também mostra como foi a última execução.
Só o proprietário do projeto pode iniciar o QA. As pessoas com quem você compartilha o projeto veem os cartões de QA, mas sem os botões.
Perguntas frequentes
Seção intitulada “Perguntas frequentes”O QA roda sozinho e gasta meus créditos?
Não. O QA só sugere um plano e espera você clicar em Executar QA. Com Corrigir automaticamente ativado, uma execução iniciada por você pode seguir corrigindo e testando de novo sozinha, o que usa mais créditos.
Quantas jornadas o QA testa?
Até 24 por execução, em pequenos lotes de navegadores na nuvem rodando lado a lado. Em um app maior, outra execução pode verificar mais das áreas restantes.
O QA consegue testar os e-mails que meu app envia?
Sim. Cada conta de teste tem uma caixa de entrada real, então o QA pode abrir um e-mail de confirmação ou de redefinição de senha e seguir o link. Só uma caixa de entrada que não seja a do próprio teste fica para você conferir.
O QA consegue testar pagamentos ou o login com Google?
Não de ponta a ponta. Uma jornada que chega a um serviço que você não conectou fica marcada como Precisa de chaves. Pagamentos reais, logins de terceiros e CAPTCHAs aparecem em Precisa de você para uma pessoa conferir.
Posso continuar criando enquanto o QA roda?
Você pode continuar usando a prévia, porque o QA testa a própria cópia do seu app. Se você iniciar uma criação, o QA interrompe a execução. Quando a criação termina, ele oferece testar o app pronto, e você escolhe Executar QA ou Depois.
O QA deixa contas de teste no meu app?
Não. Quando a execução termina, as contas de teste são removidas junto com o que criaram.