Test Card 2.0

Clique aqui para baixar

• PDF do Test Card 2.0 formato retrato
• PDF do Test Card 2.0 formato paisagem
• Imagem do Test Card 2.0 no formato retrato
• Imagem do Test Card 2.0 no formato paisagem

Você trabalha com desenvolvimento de produtos. Quais são as próximas funcionalidades ou serviços que você planeja adicionar ao produto? Qual trará mais clientes? O que fará com que os clientes atuais permaneçam? Quais aumentarão a receita ou reduzirão os custos? Difícil de resolver. Por isso, é importante ter um método simples para invalidar suas hipóteses. 

Invalidação de Hipóteses

O primeiro ponto a que temos que ficar atentos é que no desenvolvimento de produtos não temos certezas nem requisitos (condições para se alcançar determinado fim). Eu não sei se a novíssima e incrível funcionalidade que estamos criando realmente encantará os clientes, passará totalmente despercebida ou atrapalhará a vida deles. Tudo o que temos são hipóteses. Toda hipótese deve ser testada por meio de um experimento para verificar se é válida ou inválida. 

Texto alternativo: Um círculo verde. Na parte superior, há uma caixa de texto com a frase “K21.global”. Dentro do círculo há três setas pretas grossas, uma apontando para a outra. Dentro de cada seta, há uma palavra e as palavras são: Construir, Medir, Aprender.

Legenda: Ciclo de desenvolvimento.

O ciclo: Construir, Medir, Aprender deve ser constante na vida do produteiro/produteira. Quanto mais experimentarmos, mais bem-sucedidos tendem a ser nossos produtos. Todavia, é necessário ter algum cuidado com as experimentações. Elas sempre devem ser estruturadas e gerar aprendizado. Algo muito parecido com o que foi imaginado por René Descartes (1596 – 1650) e Isaac Newton (1643 – 1727) no método científico.

Test Card

Uma forma simples e prática de estruturar esse teste é por meio do Test Card criado pela Strategyser. Ela é uma ferramenta em que os dados do experimento são preenchidos em um cartão.

As informações são preenchidas neste cartão e, a partir dele, você tem a definição do experimento pronta muito rapidamente. 

Test Card 2.0

A K21 / Nower utiliza muito essa ferramenta em seus clientes; porém, sentimos a necessidade de algumas alterações para aprimorá-la ainda mais. Por isso, propomos uma versão 2.0 mais sintética do Test Card. 

Nos exemplos, imagine que estamos falando sobre um aplicativo de streaming que percebeu que está perdendo 50% dos clientes após poucos meses de assinatura. 

Os campos do Test Card 2.0 são os seguintes:

Identificação do Teste

Depende de como a sua organização identifica o teste de hipótese. Pode ser um número vinculado a alguma ferramenta de gestão de produtos, o nome do que vocês desejam testar ou até mesmo uma descrição sucinta do experimento. Por exemplo: Redução da perda de clientes.

Limite de Tempo

É uma limitação que vocês queiram impor ao experimento. Pode ser uma data vinculada a um evento. Por exemplo: 2 semanas antes da Black Friday. Pode ser que vocês limitem o tempo máximo do experimento. Por exemplo: X Sprints ou 5 semanas. Ou ainda, que vocês tenham uma data fixa no futuro: 09/05/20XY.

Hipótese

Nós dividimos a hipótese em 2 etapas para evitar: a) uma hipótese sem expectativa de resultado; b) a criação de métricas desequilibradas pela hipótese; e c) métricas enviesadas pela solução e não pelo problema ou oportunidade.

A primeira parte da hipótese responde plenamente à frase: “Nós acreditamos que…” Exemplo: Nós acreditamos que firmar o contrato com o Estúdio Super-Ágil Entretenimento

A segunda parte é a conclusão, o resultado que a primeira parte da hipótese deverá trazer. Ele complementa a frase: “Resultará em…“. Continuando o nosso exemplo: Nós acreditamos que firmar o contrato com o Estúdio Super-Ágil Entretenimento resultará no aumento do tempo de permanência da assinatura dos nossos clientes. 

Perceba que essa quebra nos força a pensar não só na hipótese, mas também no que queremos obter com ela. Se ficássemos apenas no “Acreditamos que”, o propósito do experimento não ficaria tão claro.

Métricas

Essa é uma evolução importante do Test Card. Aqui estão as métricas antes do experimento. A ideia é evitar o uso de uma métrica viciada. Voltando ao nosso exemplo, poderíamos facilmente cair na armadilha: contrato assinado (sim ou não) ou quantidade de conteúdo disponível para nosso streaming. São números e fatos importantes, mas não medem se estamos ou não resolvendo o problema. Pense nas métricas sempre vinculadas ao problema e não à solução. Nesse exemplo, o mais próprio seria o churn (percentual de clientes que deixam ao longo do tempo). 

Porém, há algo a que temos que prestar atenção. É muito arriscado medirmos apenas uma métrica. Isso pode gerar um efeito negativo e deixar o seu time com todo o foco em aperfeiçoar um único número. Nesse caso, eles poderiam fazer de tudo para manter os clientes no aplicativo, por exemplo, oferecendo 20 meses grátis. Reduzirá o churn, mas pode quebrar a empresa. Além disso, dependendo do que for feito, podemos barrar a entrada de novos clientes. 

Então, podemos incluir outras métricas que acompanharemos nesse experimento, e essas métricas devem equilibrar a métrica principal. Então, poderíamos fazer o seguinte para esse experimento

• Métrica principal: Churn Rate – Percentual de perdas de clientes no período (caso prefira uma métrica positiva, poderia ser: Taxa de Retenção). 

• Métrica de Equilíbrio 1: Revenue Churn – Receita perdida por saída de cliente no período (Caso prefira uma métrica positiva, poderia ser: Retenção de Receita).

• Métrica de Equilíbrio 2: Growth Rate (Taxa de crescimento) – Percentual de novos clientes adquiridos no período. 

Experimento 

É o experimento que faremos para testar nossa hipótese. Uma descrição sucinta, verificável empiricamente. Por exemplo: Vamos disponibilizar o conteúdo de séries e filmes do catálogo Premium do  Estúdio Super-Ágil Entretenimento.

Critérios

São os resultados objetivos esperados das métricas que comprovam ou não a validade da nossa hipótese. Eles podem ter origem em: 

1. Números de outras empresas que atuem no mesmo segmento da sua organização;
2. Comparação com produtos semelhantes dentro da sua empresa;
3. Comparação com o histórico do produto ou produtos semelhantes; ou
4. Cálculo de Hipóteses Únicas para Teste e Experimentação, mais conhecido como CHUTE 😁. Sempre há espaço para algo subjetivo.

No nosso exemplo, alguns critérios interessantes poderiam ser: 

• Reduzir o churn rate em 40% nos primeiros 3 meses após a assinatura do contrato. Ou, caso prefira, aumentar a taxa de retenção em 20% nos próximos 3 meses após a assinatura do contrato. 
• Aumentar a retenção de receita em, no mínimo, 30%. Ou, caso prefira as métricas positivas, aumentar a retenção de receita em 12%. 
• Manter a taxa de crescimento atual de clientes em 4% ao mês.

Essa definição evita que você crie métricas de vaidade ou que “ajuste” o resultado após o experimento para “comprovar” um sucesso que não existe.

Executando o Test Card 2.0

Uma vez que você definiu o que fazer, faça-o. Coloque o experimento para rodar. Fatie-o para que seja realizado rapidamente e de modo que você consiga ligá-lo diretamente ao resultado. Sempre algo do tipo: “Porque fizemos isso, o resultado foi esse.”.

Cuidado 1: Não mexa em muitas variáveis em um experimento

Você não conseguirá comprovar uma relação de causa e efeito. No nosso exemplo, digamos que façamos ao mesmo tempo: a) a disponibilização do catálogo premium do Estúdio Super-Ágil Entretenimento; b) a redução do custo da mensalidade em 50%; e c) a disponibilização do conteúdo atual em espanhol para a América Latina. Após 3 meses, vimos que atingimos os critérios de sucesso. 

A pergunta que eu faço é: qual dessas variáveis (novos conteúdos, preço ou novos mercados) realmente impactou, ou impactou mais, o resultado? Difícil saber. O ideal é que tenhamos um experimento rodando a cada vez. 

Entretanto, sabemos que, dependendo da empresa e do momento em que ela está, alguns experimentos terão que ocorrer simultaneamente. Mas sempre que possível, tente isolar os resultados o máximo que puder.

Cuidado 2: Não reduza os critérios que você utiliza para validar a hipótese.

É tentador: você colocou esforço, seu time se empenhou e a vontade de que tudo dê certo é imensa. Os resultados não comprovam a validade da hipótese, mas você sente a sensação de dizer que 10% está pertinho de 50%. Não, não está. Logo, não se engane: boas ideias são diferentes das ideias de valor.

Cuidado 3: Experimentos longos

Um experimento deve ser curto. Experimentos longos, caso sejam invalidados, darão muito trabalho para serem devolvidos ao estado anterior. Se é que será possível fazê-lo. É melhor fazer muitos experimentos pequenos ao longo do tempo do que poucos experimentos longos nesse mesmo período. 

Learning Card

Após o experimento, você pode criar um Leaning Card (Cartão de Aprendizado) para registrar o que aconteceu e o que aprendemos. Abaixo, segue o modelo que você poderá utilizar. Lembrando que um Test Card 2.0 pode conter vários Learning Cards.

Os campos do Learning Card estruturam o aprendizado e facilitam a apresentação ao time. São eles:

Identificação

• Nome do insight (aprendizado) que você teve com o experimento.
• Data do aprendizado a fim de organizar um histórico. 
• Responsável pelo aprendizado que pode ou não ser o mesmo do experimento.

Hipótese

Aqui está a repetição da hipótese do Test Card 2.0. No caso do nosso exemplo: “Nós acreditávamos que firmar o contrato com o Estúdio Super-Ágil Entretenimento resultaria no aumento do tempo de permanência da assinatura dos nossos clientes.”

Observação

Os achados do experimento quanto às métricas do Test Card 2.0. Retornando ao exemplo, poderiam ser: 

Nós observamos que a redução do churn rate foi de 53%, a do revenue churn, de 42%, e a taxa de crescimento se manteve em 4%.

Aprendizados e Insights

Aqui você relaciona tudo o que aconteceu no experimento. 

Com isso aprendemos que o relacionamento com o Estúdio Super-Ágil Entretenimento é vantajoso, pois ele conseguiu reduzir a perda de clientes. Além disso, tivemos também a redução das perdas, superando até mesmo o que esperávamos e mantendo o crescimento previsto.

Decisões e Ações

Aqui pode ser a decisão que vocês tomaram ou até mesmo o próximo experimento que vocês farão. 

Portanto, nós iremos manter o contrato com o Estúdio Super-Ágil Entretenimento para o próximo ano e proporemos um novo contrato para o pacote premium do catálogo deles para tentar aumentar a taxa de crescimento mensal.

Conclusão

Para concluir, o Test Card 2.0 é uma forma simples de organizar a descoberta de produtos e novidades: formular hipóteses, testar ideias e aprender com os resultados. Ele ajuda o time a tornar explícito o que está sendo testado, como será medido e quais resultados realmente indicam sucesso. Isso reduz decisões baseadas apenas na opinião e aumenta a clareza sobre o que gera valor para o cliente.

Mais do que validar ideias, o objetivo é promover o aprendizado contínuo. Cada experimento, validado ou não, contribui para que o time entenda melhor seus clientes e tome decisões mais bem embasadas nos próximos ciclos. Com o tempo, esse processo de experimentar, medir e aprender torna-se parte natural da construção de produtos melhores.