Ep. 165 - Métricas para Gestão de Produtos

Hoje a gente vai falar sobre uma parada que está rolando por aí, que dói na galera: produto, métricas de produto. A Andressa Chiara, que veio originalmente do início dos tempos de projeto tradicional, sempre teve um desespero de ver as pessoas trabalhando horrores sem entregar valor. Teve projeto que ela trabalhou com o Duba que já estava 8 anos sem entregar nada. Quando ela encontrou todo mundo da agilidade de produto, foi uma boia de salvação: não precisa trabalhar só para bater cartão, é possível entregar valor de fato. De lá para cá, ela mergulhou na parte de produtos e começou a trabalhar sistematicamente, criando produtos de sucesso com foco em métrica. O Duba, Marco Dubovski, atua como gerente executivo de produtos na Serasa Experian, com passagem por telecom, e-commerce e serviços financeiros. Ele se define como uma pessoa de letras e números, e essa combinação o define bem.

Quando a gente nem sabia que era produto, já existia produto. A história do Airbnb, com a declaração do CEO sobre o futuro dos cargos de produto, gerou interpretações equivocadas e desespero meio equivocado. O que a Andressa entendeu é que existia, no final das contas, um silo entre produto e marketing. Produto foi pensado para ser algo extremamente sistêmico, olhando a experiência do cliente, toda a jornada, todo o funil de conversão de ponta a ponta. Mas a forma como o mercado vê produto funcionando é como se ele só cuidasse do desenvolvimento do produtinho de TI, do aplicativo. Isso é uma diminuição muito forte do papel de produto e gera reações do tipo: se vocês estão chamando isso de Product Manager, o que a gente tem aqui não é Product Manager, é Product Marketing Manager, porque a pessoa tem que olhar para o mercado, ter conhecimento de marketing.

Hoje, a Andressa vê uma dor muito grande de pessoas de produto que se veem numa posição de tirador de pedido. Todo mundo quer tirar pedido para você. Ninguém vai virar e falar: faça uma análise de mercado e traga as métricas de tendência. Todo mundo vai falar: eu quero que você entregue isso nessa data. Mas isso é realmente um problema ou é um dado? Dado que isso é o comportamento padrão de pessoas que não são de produto, o que nós de produto temos que fazer é justamente fazer a gestão dessas pessoas, desses stakeholders, desses executivos. A pessoa de produto precisa olhar para o comportamento do cliente, dos concorrentes, para como o time está performando, fazer gestão dos custos do produto. Quando você checa quantas pessoas de produto estão efetivamente fazendo esse trabalho, não são tantas assim, e é isso que gera o questionamento e a desvalorização da cadeira de produto.

Se você tratar as pessoas como idiotas, elas vão se comportar como idiotas. Que tal se a gente simplesmente não tratar as pessoas como idiotas e começar a falar do que realmente importa? O cenário que materializa as dores de tirar pedido geralmente reflete comportamentos sintomáticos em várias organizações. Nós, como seres humanos, somos forjados até biologicamente para pular para a solução primeiro. No passado, tomar decisão rápido significava viver ou morrer. Então tomar decisão é natural, espontâneo, vem primeiro. Não tomar a decisão de primeira e parar para pensar é contraintuitivo, pede esforço. Quando a gente plota isso para a estrutura das organizações, tem stakeholders que querem gerar resultado, têm interesse genuíno em fazer as coisas acontecerem, mas não têm a expertise que credencia a pessoa a tomar essa decisão. A pessoa chega achando que tem a solução na mão, com uma certeza genuína, mas não tem o ferramental para fazer isso. Ela não está tomando a decisão baseada em métrica, está tomando baseada em crença.

Quando a gente olha para a necessidade de estruturar, de resolver o problema certo, de resolver da forma certa e de fazer com que a resolução seja minimamente escalável em termos de mercado, é inevitável que uma pessoa de produto, por definição, precise olhar mercado. Não adianta imaginar que, dentro do seu ferramental, você vai construir uma solução que atenda o pedido da vez. Nós não somos o cliente. O que a gente precisa fazer é criar mecanismos para testar, validar, checar se é verdade. Para isso, você inevitavelmente tem que passar pelo mercado. O trabalho de toda pessoa de produto é muito doloroso porque é essencialmente contraintuitivo, vai na direção oposta a sair achando a decisão logo aí pela frente.

Quando a Andressa compartilha conteúdo sobre desafios de pessoas de produto e métricas, como fazer uma defesa de pitch, como pedir investimento, o PVT inunda. As pessoas pedem material, pedem ajuda. Com base nessa coleta de narrativas individuais, a K21 fez uma pesquisa no LinkedIn e o resultado foi ligeiramente assustador: aproximadamente 43% das pessoas viam métricas como uma dor, não como algo que resolvia uma dor. Um número também muito relevante era a dor do ser cobrado por quando entrega, que também é métrica. Juntando os dois, não é mais de 60%. A pergunta que fica: como a gente forma as pessoas no trabalho? É cobrando métrica ou é cobrando quando entrega? Você tem uma lista de features e tem que entregá-la o mais rápido possível e começa a gerar débito técnico.

A Andressa conta o caso de uma empresa onde o custo total dos times para trabalhar num produto que estava há seis anos sem entregar era de um milhão de reais. Os P.O.s focados em fazer o time entregar o mais rápido possível, mas os itens não conectavam: um time fazia o cálculo, outro o front-end, outro a política. Era um monte de peça de quebra-cabeça que não conectava. O replanejamento a cada três meses, mais prazo, mais dinheiro, e chegaram a 14 times trabalhando no mesmo produto. Quanto mais times, mais caótico. A solução foi parar tudo, pegar os 14 times, frear todo mundo e perguntar: qual é a primeira coisa que a gente precisa botar no ar para o cliente poder usar? A resposta foi a etapa de coletar dinheiro do cliente. Só essa parte no novo produto, o resto integrava com a solução existente. Isso gerou pânico porque os times que não estavam trabalhando nisso podiam parar. Mas conseguiram botar no ar em três meses.

A partir daí, usaram a técnica do Cone da Incerteza para previsibilidade de quando entrega. Tinha uma pessoa que dizia: isso não é o Cone da Incerteza, isso é o Cone da Certeza, porque eu tenho certeza que não vou conseguir. O melhor cenário era um ano, o pior era três. A Andressa virava para as pessoas e falava: não adianta botar mais pressão nos times, não adianta botar mais pressão nas pessoas de produto. A gente tem que começar a desbastar o backlog, falar o que não vai fazer e botar todo mundo para fazer a mesma coisa e conectar o quebra-cabeça. E foi exatamente o que aconteceu: a primeira entrega em três meses. Sem métrica, ela não teria sobrevivido àquela situação. Em situações parecidas na carreira antes, sem essa ferramenta, simplesmente não conseguia entregar. Às vezes você só precisa daquela alavanca, e métricas têm esse poder.

As consequências de cenários como esse são perigosas: primeiro porque não são verdade, segundo porque, à medida que se perpetuam, atrapalham a capacidade da pessoa de produto entender o valor do tamanho da diferença que pode fazer. Quando esse tipo de situação acontece, a gente não consegue usar a métrica como instrumento para entender se está no caminho certo, validar se está fazendo a coisa certa, aprender. O risco é perpetuar a falha, normalizar a falha. Mas uma empresa que aprende, aprende, aprende, só aprende, quebra. Não adianta aprender e não conseguir fazer esse aprendizado algo acionável.

As métricas, no fim do dia, precisam ajudar a gente a tomar alguma ação. Se você estiver medindo aquilo que não te ajuda a entender onde você tá, a ação é manter o curso. Ou a entender que o que você tá fazendo não tá funcionando bem, e aí a ação é entender o que corrigir. Ou a não ter previamente a capacidade de entender que hipótese quer validar, você corre o risco de navegar às cegas, pelo feeling, pelo drive de quem te fez o pedido. Quando você faz isso, abre mão de toda capacidade de fazer a diferença, porque transfere para quem fez o pedido o poder de estar certo. A pessoa de produto acaba recebendo uma encomenda, fazendo muito bonitinho o que foi pedido, eventualmente medindo, criando métricas de eficiência, super eficientes, mas ninguém compra, ninguém consome, ninguém tá feliz. A vida não acontece dentro da empresa, acontece no mercado. O mercado é o seu juízo, é quem te confirma, é quem te derruba.

É insano imaginar que uma pessoa de produto não esteja relacionada ao mercado. Se ela não consegue ter o olhar pro mercado, ela não é uma pessoa de produto, é uma pessoa de pedido, está fazendo fábrica de feature. Mas não é métrica por métrica, não é sair medindo tudo enlouquecidamente. A separação fundamental é entre métricas de eficiência e métricas de eficácia. Métrica de eficiência é sobre quão bem você está fazendo alguma coisa, a qualidade, o quão eficiente você está sendo. Eficiência é fazer bem feito, fazer certo, mas não necessariamente fazer o que precisa ser feito. Métrica de eficácia mede se aquilo que você está fazendo é de fato aquilo que você devia fazer, vinculando à estratégia da empresa, à proposição de valor. A pergunta da eficácia é: o que eu estou fazendo é a coisa certa a ser feita? A pergunta da eficiência é: estou fazendo isso da melhor forma?

Exemplos de métricas de eficácia: quanto de dinheiro as pessoas estão jogando na sua cara para comprar o seu produto; quantos clientes ativos você tem; quantas recomendações você recebe. Exemplos de métricas de eficiência: velocidade do time, custo do time, custo de coordenação, WIP, Cycle Time, Lead Time. No mundo ideal, é melhor ter equilíbrio entre as duas. Mas na vida real, se você tiver que começar com algum lugar, comece pelas de eficácia, e aí em seguida olha as de eficiência, porque senão você está fazendo tudo perfeitamente em direção ao precipício e nem sabe. Mesmo um produto que faz parte de uma empresa gigante, que não para de pé sozinho, ainda tem métricas de eficácia: engajamento, cost avoidance. Se você não sabe quais são as métricas de eficácia do seu produto, já está atuando como tirador de pedido.

Quando a Andressa fala de Velocity, Lead Time, WIP, Cycle Time, são métricas de eficiência. E se tudo isso for muito curto, muito rápido, muito perfeito, e você botar no mercado e ninguém use, não adianta. Mas você tem liberdade para criar o que faz sentido para a sua realidade. Time to Money: do tempo que você lança até a primeira receita. Churn, Lifetime Value, índices de satisfação, consumo, recorrência. Uma coisa interessante: você pode ter deterioração de métricas de eficiência sem necessariamente ter deterioração de métricas de eficácia. As métricas de eficiência são o que o cliente não vê. O cliente fala com você com clareza quando desconecta da base e vira churn, quando dobra ou triplica o consumo, quando começa a fazer outros tipos de aquisição. Isso aponta para satisfação.

Como sair da passividade? Como contra-argumentar com alguém que está fazendo um pedido? Você precisa trazer um elemento que essa pessoa não domina, algo novo para a conversa. Para não ficar no mundo da minha opinião contra a sua, você precisa ter algum embasamento que fale além de você. Essa coisa que fala além de você funciona muito bem quando é um número, porque esse número pode te representar e falar por você sem nem você estar na sala. As métricas tiram a discussão do mundo das percepções, das impressões e das pseudo-certezas e trazem para um cenário onde você pode aferir se aquele caminho está certo ou errado. Nenhuma empresa, a não ser a ONG, nasceu com a proposição de valor de ser filantrópica. As empresas precisam ter resultado. Não olhar o mercado e não conseguir escolher o que medir que garanta que você está no caminho certo pode ser a chave para que um negócio prospere. Métricas empoderam, dão visibilidade, geram alinhamento, melhoram a capacidade de argumentar.

Se você não está tomando decisões baseadas em métrica, é como entrar num táxi, virar para o motorista e falar: vai, dirija. Você não sabe para onde está indo, a que velocidade, onde quer chegar. E tem o ponto de não saber que horas tem que chegar, que é o momento do lançamento. Você olha e fala: tenho essa janela de oportunidade de mercado, se não lançar até essa data, ferrou. A Agile não tem data é uma mentira: a Agile só não teria data se a gente não trabalhasse com ciclo curto e dinheiro nunca importasse para ninguém. Toda vez que você posterga a data, está dizendo que vai botar mais dinheiro sem garantia de retorno. Duas perguntas que a Andressa faz para todas as pessoas de produto: a primeira, você sabe quanto o seu time custa? A quantidade de gente que não sabe quanto o próprio time custa é animal. Como a pessoa vai calcular retorno sobre investimento, que é a função da pessoa de produto? A segunda: uma vez que você descobre quanto o time custa, você dorme bem à noite com o que priorizou? Se fosse o seu dinheiro, dormiria tranquilo? Isso é desperdício exponencial, o custo do atraso, que é uma métrica.

Quando a gente fala de olhar para o mercado, tem coisas que precisa descobrir. A Andressa pegou o time de lançamento de novos produtos na K21 e perguntou: como a gente sabe qual produto lança primeiro? Todo mundo olhando para ela esperando resposta. A resposta: a gente vai ter que pesquisar, entender o mercado. Quantas pessoas são público-alvo? Qual o poder aquisitivo? Qual o volume? O exemplo do mercado de desbancarizados no Brasil: mais de 20 milhões de pessoas sem acesso à conta bancária. Se fizer um produto para bancarizar essas pessoas, são 20 milhões de oportunidades. Depois, poder aquisitivo, dados do IBGE. A Andressa já fez workshops de coleta de métricas de duas horas, com cinco pessoas, cada uma pesquisando uma coisa. É possível, é viável, não precisa contratar uma empresa para uma mega pesquisa de três meses.

Num workshop em um cliente, a empresa discutia expansão para um país da América Latina. Começaram apresentando métricas de PIB e PIB per capita. Mas existia uma restrição: o cliente só conseguia pagar via cartão de crédito. A VP fez a primeira pergunta: qual é a quantidade de pessoas que têm cartão de crédito dentro desse país? Se for baixa, não adianta nada. A Andressa pegou o celular, pesquisou o percentual de uso de cartão de crédito nos países da América Latina, e em dois minutos destravou a discussão. A ilusão de que coletar métrica é uma coisa mega trabalhosa não é verdade. Tem métricas que são trabalhosas, mas tem muita coisa que se faz manual.

O Duba acrescenta: ele ainda não pegou nenhum projeto de tecnologia relacionado à coleta de dados, Data Lake, BI, Self Service, que não tivesse levado um ano para gerar um monte de relatório que no final as pessoas continuavam usando Excel. A forma mais fácil de chegar a um Data Lake é começar falando: me dá as planilhas, vamos simular. O que a gente quer descobrir? Depois automatiza. Primeiro manualmente, depois automaticamente, e assim sucessivamente. O trabalho de definir a métrica certa é um trabalho de extrema criatividade, não é óbvio e é fundamental. Meio caminho para ter sucesso naquilo que você quer entregar. Se a gente não sabe o que está medindo, se não conhece a estratégia, o primeiro passo é entender o que a empresa faz, para onde quer ir, qual o valor que entrega, em que mercado está inserido, qual o limite do alcance. Só então se escolhe as métricas.

Existe a tendência de passar por painéis com 258 gráficos, linhas, barras, que não fazem necessariamente sentido para a maior parte das pessoas, mas passam a sensação de que as coisas estão sob controle. Em boa parte dos casos, você precisa de poucas métricas certas e não de muitas métricas. Antes de escolher a métrica, precisa entender para que aquilo vai servir, o que é valor para você. Se não tiver isso, vai se perder no mar de métricas e ter dificuldade de demonstrar o valor que precisa entregar. Existe uma oportunidade imensa de trazer mais clareza sobre como as métricas podem ser a alavanca que ajuda um profissional de produto a se empoderar, a fazer a diferença, a gerar os resultados que se esperam dele. É quase como fazer uma fabriquinha de cintos de utilidade do Batman e botar disponível nas prateleiras para as pessoas se encaixarem, se sentirem empoderadas e falar: eu sei que o que estou fazendo vai dar o resultado que espero, ou descobri, baseado no que estou medindo, que não vai me gerar o resultado, então preciso mudar.

Dois pontos críticos para o desenvolvimento das habilidades relacionadas a métricas: primeiro, a visão sistêmica, pegar uma planilha, mastigar o dado, investigar, e depois automatizar. Não adianta ter as ferramentas e não entender como elas se encaixam no todo e para que servem. Segundo, a clareza sobre as ferramentas disponíveis. Quando você olha faturamento, é uma métrica de eficácia muito fácil, mas em muitas empresas o balanço financeiro fecha de três em três meses. O que você vai fazer? Passar três meses atirando para o teto? Não dá. Então existe a ferramenta de métricas leading versus métricas lagging. Métrica lagging é uma métrica que demora para responder, que você olha posterior. Métrica leading é preditiva, ajuda a prever que aquilo vai acontecer. Se você deixa de ir na academia a primeira semana, a segunda, a terceira, na quarta você fica se questionando por que está pagando. Engajamento, presença, é uma métrica leading para o pagamento da mensalidade, que é a métrica lagging.

A K21 lançou um workshop de gestão de métricas para produtos, de duas horas e meia, um dia só, para ajudar a pessoa a sair do estado A para o estado B. É bastante ferramental, é prático, para usar no dia seguinte. Se você quer entender e tem a dor de conseguir argumentar melhor com o stakeholder, esse workshop vai te ajudar. Se tem a necessidade de entender melhor o mercado, vai te ajudar, porque você vai conseguir enxergar o ferramental e ver métricas que dão visibilidade sobre como o mercado conversa com você, como se preparar para capturar essas mensagens e transformar em ação. Métrica por métrica só tem: você acha 5 mil em 10 minutos. As que realmente vão fazer diferença dentro do seu contexto precisam de estratégia, de estrutura. O workshop apresenta uma estrutura que permite derivar isso para a sua necessidade. Cada empresa é um organismo diferente, mas a preocupação primária de uma pessoa de produto continua sendo a mesma: resolver problemas dos seus clientes, tornar a vida deles um pouquinho melhor. Melhorar a capacidade de lidar com métrica melhora uma pessoa de produto. A pessoa vai se sentir mais empoderada porque vai ter mais na mão capacidade de argumentar e capacidade de aprender para agir, não só aprender para aprender. Só aprender e não poder fazer nada é um desperdício.

Um recado para quem está ouvindo: tem muita gente competente, subvalorizada, que se bobear está com síndrome do impostor. Fazer uso de métricas fez muita diferença. Mesmo que você não seja de produto, se você olha para o seu trabalho no dia a dia e não consegue metrificar o impacto do resultado do seu trabalho, do seu esforço, não corre esse risco. Porque você pode sofrer com a síndrome do impostor, mas também porque, se você não está conseguindo metrificar o resultado do seu trabalho, talvez as outras pessoas não consigam valorizar o resultado do seu trabalho também. Isso é um risco para a carreira que a gente não precisa correr. Dentro do possível, o que a gente puder fazer para tangibilizar por que está fazendo esforço e qual o impacto que esse esforço gera, é sempre melhor. E um recado final: quem não sabe para onde vai pode chegar a qualquer lugar, mas a versão adaptada é quem não sabe para onde vai não chega a lugar nenhum. Qual é o valor de não chegar em lugar nenhum? Não existe. Métricas ajudam a ter uma direção mais clara que faça sentido e dê sentido para a jornada.