O que é Teste A/B?
Teste A/B é um experimento controlado em que duas versões de uma mesma página, feature ou fluxo são apresentadas a grupos aleatórios de usuários para comparar uma métrica de sucesso. É a forma mais rigorosa de tomar decisões de produto baseadas em evidência: em vez de discutir qual variação é melhor, mede-se.
Na prática
Times definem hipótese, métrica primária, métricas guardiãs, tamanho de amostra (poder estatístico) e duração antes de iniciar. Rodam até atingir significância. Resultado guia decisão, manter, reverter ou iterar. Plataformas como Optimizely, Statsig ou implementações internas suportam a operação. O Workshop Métricas da K21 ensina a desenhar testes válidos e a evitar armadilhas comuns (peeking, segmentação enviesada, sazonalidade).
O que acontece quando falta
Sem testes A/B (ou outros experimentos), decisões viram debate de opinião na sala. Implementa-se a ideia do mais sênior, e o impacto real fica desconhecido. Reverte-se sem entender por quê. A cultura de "achismo" se solidifica.
Termos relacionados
Perguntas frequentes
O que é Teste A/B?
Teste A/B é um experimento controlado em que duas versões de uma mesma página, feature ou fluxo são apresentadas a grupos aleatórios de usuários para comparar uma métrica de sucesso.
Como Teste A/B funciona na prática?
Times definem hipótese, métrica primária, métricas guardiãs, tamanho de amostra (poder estatístico) e duração antes de iniciar.
O que acontece quando Teste A/B falta?
Sem testes A/B (ou outros experimentos), decisões viram debate de opinião na sala.