Pular para o conteúdo
Produto e Discovery

O que é Teste A/B?

Em português: Teste A/B

Teste A/B compara variantes distribuídas aleatoriamente para estimar o efeito de uma mudança em métricas.

Teste A/B é um experimento controlado que distribui aleatoriamente unidades elegíveis entre uma versão de referência e outra alterada. Com hipótese, métricas e análise apropriadas, permite estimar o efeito da mudança. A validade depende de sorteio, instrumentação, amostra e interpretação da incerteza; um resultado estatisticamente significativo não garante valor de negócio.

Origem

Experimentos controlados aleatórios têm tradição científica anterior ao produto digital. Em serviços online, pesquisas de plataformas de experimentação, como a Microsoft, examinam desafios de randomização, métricas e análise. O termo A/B descreve duas variantes, mas testes com mais condições também existem. A técnica não é exigência de Scrum nem substitui pesquisa qualitativa.

Fonte primária: Trustworthy analysis of online A/B tests

Na prática

Teste A/B é um experimento controlado em que unidades elegíveis são distribuídas aleatoriamente entre uma versão de referência e uma alternativa. A comparação estima o efeito da mudança em métricas definidas, desde que a randomização, a coleta e a análise sejam adequadas. Em produto digital, a unidade pode ser pessoa, conta ou outra entidade; escolher errado pode fazer a mesma pessoa ver versões diferentes ou invalidar uma suposição estatística. Um teste não elimina julgamento, mas cria evidência melhor que uma disputa de preferência.

O que acontece quando falta

Sem experimento, um grupo ainda pode aprender com entrevistas, protótipos, observação e dados de uso; a ausência de A/B não obriga decidir por opinião. Quando a pergunta é causal e há volume suficiente, porém, lançar uma mudança a todos pode dificultar atribuir o efeito observado. Escolha o método pelo risco e pela decisão, e explicite o grau de confiança possível.

Como desenhar e analisar um teste A/B

Teste A/B é um experimento controlado em que unidades elegíveis são distribuídas aleatoriamente entre uma versão de referência e uma alternativa. A comparação estima o efeito da mudança em métricas definidas, desde que a randomização, a coleta e a análise sejam adequadas. Em produto digital, a unidade pode ser pessoa, conta ou outra entidade; escolher errado pode fazer a mesma pessoa ver versões diferentes ou invalidar uma suposição estatística. Um teste não elimina julgamento, mas cria evidência melhor que uma disputa de preferência.

Comece por uma hipótese. Declare que mudança será feita, para quem, qual comportamento se espera e por quê. “A cor verde é melhor” é menos útil que “uma explicação clara do prazo de entrega aumentará conclusão de compra”. Defina a população elegível e a decisão que seguirá cada resultado. Se não há decisão possível, executar o teste pode gerar números interessantes sem orientar o produto.

Escolha métricas antes de olhar dados. Uma métrica primária representa o resultado que justificou o experimento. Métricas guardiãs observam efeitos adversos, como aumento de cancelamentos ou queda de desempenho. Verifique se eventos são registrados de modo comparável nos grupos. Selecionar depois a única métrica que melhorou entre dezenas cria conclusão enviesada. Qualidade de instrumentação é parte do desenho experimental, não detalhe a ser resolvido no final.

Randomize e confira a implementação. Defina a unidade de sorteio e mantenha a experiência consistente durante o teste. Uma conta com várias pessoas pode exigir randomização por conta para evitar contaminação. Verifique se proporções observadas de A e B combinam com o plano e se há erros de exposição. Diferenças inesperadas podem indicar falha de atribuição ou de dados. Uma experiência tecnicamente quebrada não se torna confiável por ter grande amostra.

Planeje amostra e duração. Estime o tamanho de efeito mínimo que valeria agir, nível de risco estatístico e volume disponível. Inclua ciclos de uso relevantes para o produto. Não há duração universal de uma ou duas semanas; depende de tráfego, frequência de uso e sazonalidade. Para tráfego pequeno, um experimento aleatório pode ser lento ou pouco informativo, e métodos qualitativos ou testes de usabilidade podem ser melhores.

Evite parar ao primeiro sinal. Observar repetidamente resultados e encerrar assim que um p-valor cruza um limiar pode aumentar falsos positivos quando o método de análise não foi desenhado para isso. Use uma regra de parada apropriada antes de começar, ou um método sequencial válido se houver necessidade de monitoramento contínuo. “Significativo” estatisticamente não quer dizer impacto relevante para clientes nem retorno econômico suficiente.

Leia efeito e incerteza. Compare a diferença estimada e seu intervalo de incerteza com o efeito mínimo que importa. Um resultado inconclusivo não prova equivalência entre versões. Um efeito médio positivo pode esconder piora em grupo importante, mas segmentar depois de ver dados cria risco de descobertas ao acaso. Segmentos previstos de antemão e testes subsequentes podem ajudar a entender a heterogeneidade.

Considere efeitos de rede e contaminação. Usuários podem influenciar uns aos outros; equipes podem alterar atendimento ao perceber a versão; uma alteração global pode afetar ambos os grupos. Nesses casos, a suposição de independência fica frágil. Pesquisas da Microsoft mostram que mecanismos de randomização online podem complicar a análise estatística. Ajuste unidade e método, ou reconheça que o teste não responde com confiança à pergunta causal original.

Faça avaliação ética e operacional. Um experimento não autoriza expor pessoas a dano previsível, violar privacidade ou omitir informações obrigatórias. Em áreas sensíveis, avalie riscos e aprovações necessárias. Reserve mecanismos para interromper um teste se métricas guardiãs revelarem problema grave, com regra definida. A decisão de lançar também deve considerar acessibilidade, suporte, custo e efeitos de longo prazo que a métrica imediata não captura.

Decida e documente. Ao terminar, registre hipótese, variantes, população, período, qualidade dos dados, efeito, incerteza e decisão. Pode-se manter B, manter A, investigar mais ou testar nova hipótese. Uma variação vencedora em um contexto não é verdade universal para outros públicos. A aprendizagem acumulada depende de preservar resultados negativos e inconclusivos, não apenas divulgar vitórias.

Exemplo de checkout

Exemplo hipotético: uma loja quer testar uma explicação mais clara do custo de entrega no checkout. Pessoas elegíveis são distribuídas entre página atual A e nova página B, mantendo a mesma versão durante a visita. A equipe define antecipadamente conclusão de compra como métrica primária e reclamações sobre frete e tempo de carregamento como guardiãs. Escolhe a amostra com apoio estatístico e verifica se as proporções de exposição correspondem ao plano.

No fim, B parece aumentar conclusão, mas o intervalo de incerteza inclui um ganho pequeno que não cobre o custo de manutenção. O grupo não declara “vitória” apenas porque um indicador passou de um limiar. Examina efeito, impacto nas guardiãs, qualidade da instrumentação e tamanho do benefício necessário. Pode decidir manter A e testar outra explicação.

Nenhum percentual é fornecido como referência universal. O caso mostra como hipótese, desenho e decisão devem estar ligados desde o começo; testar sem pergunta clara não transforma qualquer diferença observada em causalidade confiável.

Como executar um experimento

  1. Formule hipótese

    Declare mudança, público, efeito esperado e decisão.

  2. Defina métricas

    Escolha uma primária e guardiãs antes de coletar.

  3. Planeje desenho

    Determine unidade de sorteio, amostra e parada.

  4. Valide coleta

    Confira atribuição, exposição e eventos.

  5. Analise

    Leia efeito, incerteza e efeitos adversos.

  6. Decida

    Documente resultado e próxima ação.

Teste A/B e teste de usabilidade

O teste A/B estima o efeito médio de variantes em métricas de uma população elegível sob um desenho experimental. Um teste de usabilidade observa como pessoas entendem e usam uma solução, revelando dificuldades e razões possíveis. As técnicas se complementam. Quando o tráfego é pequeno ou a questão é compreensão do problema, pesquisa qualitativa pode trazer mais informação que um teste subdimensionado.

Erros comuns

  • Escolher métrica depois. A análise favorece o resultado desejado.
  • Ignorar unidade de sorteio. Grupos podem se contaminar.
  • Parar no primeiro p-valor baixo. A regra de parada altera risco de falso positivo.
  • Confundir significância com valor. Ganho minúsculo pode não compensar.
  • Ignorar guardiãs. Uma melhora esconde dano em outra dimensão.

Para se aprofundar

Fontes primárias

Termos relacionados

Perguntas frequentes

O que é um teste A/B?

É um experimento em que unidades elegíveis são sorteadas para uma versão A, de referência, ou B, alterada. A comparação de métricas estima o efeito da mudança, desde que o desenho e os dados sejam válidos. Ele ajuda a responder uma hipótese específica, não a declarar que uma variante será melhor em qualquer público e época.

Preciso de significância estatística?

É preciso um método de inferência adequado à decisão, ao risco e ao desenho. Um p-valor isolado não basta: observe tamanho do efeito, incerteza, qualidade da randomização e métricas guardiãs. Um resultado sem evidência suficiente não prova que A e B são equivalentes. Planeje regra de análise e parada antes de olhar os dados.

Quando definir o tamanho da amostra?

Antes do lançamento, usando volume esperado, efeito mínimo relevante e risco estatístico aceitável. Amostra pequena pode tornar o resultado inconclusivo; amostra enorme pode detectar diferença sem importância prática. Considere também ciclos de uso e sazonalidade. Se não há tráfego suficiente, outras formas de pesquisa ou experimento podem ser mais eficientes.

Posso encerrar quando B estiver vencendo?

Se a análise foi planejada com amostra fixa, interromper ao primeiro resultado favorável pode elevar falsos positivos. Métodos sequenciais permitem monitoramento com regras próprias, definidas antes. Problemas graves em métricas de segurança podem justificar interrupção conforme política de proteção. Não confunda essa exceção operacional com escolher livremente o momento que maximiza a chance de vitória.

Teste A/B substitui entrevistas com usuários?

Não. O experimento pode estimar efeito em métricas, mas nem sempre explica por que ocorreu ou revela experiências de grupos pequenos. Entrevistas e testes de usabilidade ajudam a formular hipóteses e interpretar mecanismos. Juntos, métodos quantitativos e qualitativos oferecem compreensão mais rica para a próxima decisão de produto.

Cursos K21 recomendados

Workshop Métricas para Gestão de Produtos

K21 · 2,5 horas ao vivo

Ver curso

Dominando Product Management

K21 · 21 horas ao vivo

Ver curso
Adicione como fonte preferencial no Google