Quais métricas devo usar?

Avelino segurando um microfone e uma camiseta preta escrita Agile. Ele é pardo, barba e cabelos grisalhos.

Compartilhe:

– Bora falar de métricas?

– Qual delas? 

– Como assim?

– DORA, GEM, Métricas do Pirata, Fit for purpose, Métricas do Scrum / Kanban?

– 😱

Você já se deparou com um mar de métricas e se perguntou quais realmente fazem sentido para o seu contexto? Se sim, este artigo é para você. Vou abordar algumas abordagens populares para gestão por métricas e ajudar você a entender qual delas pode ser útil no seu caso. Para cada item, darei uma explicação sucinta e destacarei suas principais diferenças.

A primeira coisa que é importante dizer é que essas siglas aí em cima não são métricas de fato. São frameworks, métodos e maneiras de facilitar a compreensão das milhares de métricas disponíveis para medir times e produtos.

Tl; dr;

Segue um resumo da serventia de cada forma utilizada para gestão por métricas.

4 Domínios da Agilidade é uma forma de auxiliar a transformação ágil e digital de uma organização. É uma abordagem que busca entender o todo. 

Objective Key Results (OKR) é um framework completo. Pode ser aplicado a diferentes áreas de domínio da organização, por exemplo para melhorar um produto, aperfeiçoar um time ou aumentar a eficiência. As métricas dependem dos objetivos e resultados-chave definidos.

Fit for Purpose (F4P) também é um framework completo. As métricas avaliam se um produto ou serviço está cumprindo o propósito para o qual o cliente o procurou.

GEM Model avalia a evolução de um produto no mercado focando em três pontos: Crescimento, Engajamento dos clientes e Monetização (como ganhamos dinheiro com isso).

Métricas do Pirata ajudam a compreender o comportamento dos clientes em nossos produtos e serviços através do funil de conversão.

North Star Metric é a escolha de uma métrica principal que guia a estratégia da organização. Todas as métricas derivam desta métrica primária.

Métricas Scrum e Métricas Kanban são métricas de gestão de fluxo do trabalho. Elas nos auxiliam a aumentar a eficiência da entrega dos nossos times.

DORA Metrics servem para avaliar o desempenho e a maturidade do processo de entrega, operação e manutenção de software.

4 Áreas de Domínio da Agilidade

4 Áreas com os 4 Domínios das Métricas na Agilidade. São elas: Eficácia(Negócio): Aquisição Ativação Churn EBITDA Faturamento NPS Ecossistema (Cultural): Eficácia de Feedback eNPS Health and Check Níveis de Delegação Radar da Satisfação Turnover de Pessoal. Eficiência (Organizacional): Customer Lead Time Quantidade de Descarte Taxa de Chegada Taxa de Entrega Vazão “Velocidade” . E Excelência (Técnico): Ações de Aprendizagem Cobertura de Testes Devoluções Reclamações Treinamentos Realizados
4 Domínios das Métricas nas Áreas da Agilidade

Se você já teve algum contato com a K21 provavelmente já ouviu falar sobre as 4 Áreas de Domínio da Agilidade. Desta nasceram as 4 Áreas de Domínio das Métricas Ágeis. Eu quero começar por ela. Seu propósito é: Avaliar e auxiliar a tomada de decisões quanto à adoção da agilidade por uma organização e / ou time. A versão atual é composta por: 

Negócio – Métricas de Eficácia. São métricas que avaliam a eficácia dos produtos, serviços e estratégias organizacionais. Funciona como uma fronteira entre o cliente e a empresa / time. Exemplos de métricas que se enquadram neste domínio são: Faturamento, Churn (percentual de perda de clientes), Aquisição de novos clientes, satisfação do cliente etc. 

Cultural – Métricas de Ecossistema. São métricas que avaliam a satisfação dos funcionários, colaboradores, membros do time em trabalhar na empresa e no time. Geralmente são resultados qualitativos. Exemplos de métricas que se enquadram aqui são: Health and Check, Radar da Satisfação, Turnover de Pessoal, eNPS, entre outras.

Organizacional – Métricas de Eficiência. São aquelas que ajudam a compreender como os times se organizam para entregar os produtos / serviços. Elas dão bons insights sobre como tornar as entregas mais céleres. Exemplos são: Lead Time, Vazão, Taxa de Descarte, Taxa de Chegada etc.

Técnico – Métricas de Excelência. Avaliam a qualidade do produto / serviço entregue assim como o aperfeiçoamento do conhecimento técnico das pessoas para que elas possam entregar bons resultados. Exemplos são: Quantidade de reclamações no período, quantidade de devoluções por período, quantidade de ações de capacitação realizadas etc.

Comecei pelas 4 Áreas porque dentro delas nós conseguimos enquadrar todas as outras coletâneas de métricas. Além disso, ela é a mais abrangente de todas, avaliando os diversos aspectos que um time ou empresa deve ter atenção para gerar valor da melhor forma possível. Se tivermos que classificar os outros frameworks e métodos eles ficariam assim:

Mostrando como as abordagens de métricas se encaixam dentro das 4 Áreas de domínio da Agilidade. GEM, Métricas do Pirata e North Star Metric estão totalmente contidas por Eficácia (Negócio). OKR (Toma os 4 domínios). Fit for Purpose pega os domínios de Eficácia (Negócio), Excelência (Técnico) e Eficiência (organizacional). Métricas Scrum e Métricas Kanban estão inteiramente contidos em Eficiência (Organizacional). DORA está em Excelência (Técnico) e Eficiência (Organizacional)
Diferentes abordagens enquadradas nos 4 Domínios da Agilidade

Objectives and Key Results (OKR)

Trazendo para o português, Objetivos e Resultados-chave, também é um framework completo que serve para guiar a empresa / time a alcançar os seus objetivos. Ao contrário do Fit For Purpose, ele tem foco em toda organização e não apenas no produto ou serviço, seu uso pode ser mais heterogêneo. Por exemplo, você pode ter um objetivo relacionado ao aumento da base de clientes, outro em melhorar o clima organizacional, outro para aumentar a eficiência e assim por diante.

As métricas aqui dependem do objetivo que a sua organização deseja atingir. Ainda utilizando o exemplo de hotel, digamos que o objetivo seja aumentar a ocupação de quartos durante a baixa temporada. Agora podemos estabelecer os resultados-chave para atingir esse objetivo. Por exemplo: Aumentar em 30% a ocupação dos quartos durante os finais de semana; aumentar em 20% o retorno de clientes que já estiveram conosco. As métricas derivam disso: Taxa de ocupação, Taxa de Recompra.

Temos artigos sobre OKR: aqui, aqui, aqui e aqui. Também temos os treinamentos de OKR Foundations e OKR Professional Champion.

Fit for Purpose (F4P)

De todos os itens que estamos listando aqui, esse é um tanto diferente, pois o Fit for Purpose (Adequado ao Propósito, em tradução livre) em si é um framework completo que avalia se um produto ou serviço está adequadamente cumprindo o propósito para o qual o cliente o procurou. Ele classifica as métricas em 4 áreas.

As métricas do Fit for Purpose. Explicadas ao longo do texto
Métricas do Fit for Purpose (F4P)

Fitness Criteria (Key Performance Indicators), em tradução livre, Critérios de aptidão (Indicadores-Chave de Desempenho). São aquelas métricas que respondem porque os clientes escolhem os seus produtos. A perspectiva é inteiramente do cliente. Por exemplo, em um hotel, as KPIs podem ser: experiência durante a hospedagem; tempo gasto com check-in e check-out; tempo entre a solicitação e entrega de serviços, quantidade e gravidade das reclamações etc.

Health Indicators (Indicadores de saúde) como o nome diz, mede a saúde do negócio, produto ou serviço. Receita, margem líquida, Lifetime Value etc. 

Improvement Drivers (Direcionadores de Melhoria) não são novas métricas. São aquelas que pertencem a um dos outros dois grupos, porém estão fora dos limites desejados e por isso chegam neste grupo. Algumas ações temporárias de melhoria devem ser tomadas para que elas retornem ao resultado ideal.

Vanity Metrics, as famosas Métricas da Vaidade. São aquelas métricas geralmente positivas que nosso produto ou serviço podem possuir, porém elas sozinhas não conseguem dizer muito sobre o sucesso do nosso negócio. Métricas de aquisição como quantidade de visitas ao site, quantidade de downloads de aplicativos, quantidade de e-mails abertos em um e-mail marketing etc. Todas elas podem ser positivas, mas não garantem que o seu produto está indo bem. Por exemplo, dê uma olhada no seu celular, tem algum aplicativo que você baixou, porém nunca abriu ou abriu uma vez apenas? Pois é, imagina se a empresa do aplicativo estiver vinculando o sucesso desse aplicativo à quantidade de downloads. 

Vaidade - O advogado do diabo. Frase do personagem de Al Paccino que interpretou o diabo nesse filme: "Vaidade. Definitivamente o meu pecado favorito".
Frase do filme O Advogado do Diabo, no qual Al Pacino (imagem) interpreta o próprio diabo.

É importante deixar claro que o Fit for Purpose é muito mais do que apenas as métricas. Dá uma olhada nesses artigos: aqui, aqui, aqui e aqui. Também te convido para fazer o treinamento sobre o framework.

GEM Model

GEM é o acrônimo em inglês Growth, Engagement and Monetization. Em português, Crescimento, Engajamento e Monetização. É totalmente focada na compreensão da eficácia do produto através da trindade do acrônimo. Aqui você deve escolher poucas métricas para cada. O Growth avalia se seu produto é atrativo e consegue atrair novos clientes. O Engagement avalia a relação do cliente com o produto, se ele continua o utilizando ao longo do tempo. O Monetization é quanto dinheiro o seu produto é capaz de trazer para a empresa. 

Métricas GEM, Growth: Aumento da quantidade de clientes no Período. Engagement: Percentual de Retenção de Clientes no Período. Monetization: Lifetime Value (LTV), Receita
Exemplo de Métricas GEM

Métricas do Pirata

O framework de Métricas do Pirata de Dave McClure também tem o foco na análise da eficácia do produto. Todavia ele se baseia no acompanhamento do funil de conversão de clientes do produto. Imagine um produto freemium, aqueles que você consegue utilizá-los sem pagar, porém se quiser acesso a algumas funcionalidades você deverá pagar. Por exemplo Youtube Premium, Spotify, Trello etc. 

É um funil porque ele representa o comportamento do cliente e a quantidade de clientes que chegam em cada etapa do funil. Obviamente, você deseja fazer com que todos os clientes cheguem até a última etapa do funil.

Métricas do pirata.AQUISIÇÃO Quantidade de Downloads Quantidade de Acesso ao site ATIVAÇÃO Quantidade de pessoas que viram pelo menos 70% de 1 vídeo. Tempo que a pessoa permanece assistindo vídeos Quantidade de vídeos por pessoa RETENÇÃO RECEITA Lifetime Value (LTV) Ticket Médio por cliente RECOMENDAÇÃO Quantidade de vídeos compartilhados Satisfação dos clientes com os vídeo
Métricas do Pirata. Funil Freemium com exemplo de Streaming

Importante lembrar que, dependendo do produto ou serviço, o seu funil pode ser diferente.

Métricas do Pirata com etapas do funis invertidas. AQUISIÇÃOQuantidade de pessoas que reservaram 1 acomodação ATIVAÇÃO Quantidade de Pessoas que fizeram o check-in Receita por hóspede no momento do check-out RECEITA RETENÇÃO Quantidade de pessoas que voltam ao hotel após se hospedarem 1 vez. RECOMENDAÇÃO Quantidade de feedbacks positivos no aplicativo de viagens (Trip Advisor, Booking, Instagram etc.) / Quantidade total de feedbacks
Métricas do Pirata – Funil com inversão de etapas (Receita – Retenção) de serviços de hotelaria

North Star Metric

A North Star Metric ou Métrica Estrela do Norte, em tradução livre. O foco continua sendo a eficácia do produto. Todavia a empresa possui uma métrica principal que é a direcionadora de toda a estratégia da organização. Por exemplo, se você está no ramo de hotelaria, uma boa métrica Estrela do Norte pode ser a taxa de ocupação do hotel. Se você trabalha com serviços financeiros, poderia ser o valor médio transacionado por cliente. 

É importante compreender que essa métrica não é a única que existe na empresa. Outras métricas derivam dela. Além disso, ao escolher qual métrica será a estrela do norte, devemos avaliar se ela é: gera ações concretas; expressa um valor concreto; pode ser facilmente compreendida; é quantificável; não é uma métrica da vaidade; representa a estratégia da organização; e é o melhor indicador possível que demonstra que estamos chegando o grande objetivo da organização.

Métricas North Star MetricInput Metrics Transações com cartão de crédito ou débito. Transferências bancárias (TED, PIX). Pagamento de boletos. Utilização de serviços de investimento. Acesso ao aplicativo para consultar saldo ou faturas. Contratação de seguros North Star Metric Valor Transacionado Mensal por Cliente Objective Aumentar o Engajamento e a Retenção de Clientes
Exemplo de Métrica North Star

Métricas Scrum e Métricas Kanban

Aqui vale a mesma observação que fiz no Fit For Purpose e no OKR. Scrum é um framework e Kanban um método. Eles possuem muito mais do que apenas as suas métricas. Estas são utilizadas para nos ajudar a avaliar a eficiência do fluxo de trabalho e direcionar como podemos aperfeiçoá-lo. Na verdade, independente do método que seu time escolheu para trabalhar, você poderá utilizar as mesmas métricas. 

Você pode pensar, mas no Scum nós temos a velocidade de Pontos por Sprints É claro que métricas como “velocidade” e gráficos de Burnup e Burndown são mais comuns no Scrum. Todavia continuam sendo formas de gerir o fluxo de trabalho. As métricas mais comumente utilizadas são: velocidade, que na verdade é a vazão (throughout), Lead Time, Work in Progress (Trabalho em Progresso), mas há muitas outras que escrevi nesse artigo aqui

Se quiser saber mais sobre esses assuntos, recomendo os treinamentos de: Estimativas para Produtos, Team Kanban Practitioner (TKP) e Kanban System Design (KSD).

DORA Metrics 

No artigo Métricas DORA: 4 indicadores que medem o sucesso do seu DevOps descrevi o que é a DORA, porque ela existe e como podemos utilizá-la. É um modelo que nos ajuda a medir o quão bem estamos utilizando a cultura DevOps na organização. Ela tem um lado relacionado à excelência técnica dos produtos e serviços oferecidos, assim como também se preocupa com a eficiência e qualidade das entregas. Ela trabalha com 4 métricas específicas: Lead Time para mudanças, Frequência de Entrega, Taxa de falha em mudança, Tempo de Restauração do Serviço.

Conclusão

Apesar de existirem muitas métricas, os modelos nos ajudam a focar naquelas que realmente importam para a nossa empresa e no nosso time. O importante é saber escolher qual o mais adequado para o momento e utilizá-lo. Espero que este artigo tenha ajudado nessa decisão. E espero ver você em breve.

さよなら

(sayonara, até breve)

Avelino segurando um microfone e uma camiseta preta escrita Agile. Ele é pardo, barba e cabelos grisalhos.

Sobre o autor(a)

Trainer na K21

Avelino Ferreira é formado e mestre em Ciência da Computação. Teve uma longa trajetória na TI, começando como programador e chegando a gestor de diversos times de criação de produtos digitais. Conheceu e começou a adotar as melhores prática de de Métodos Ágeis em 2008. Desde então, se dedica a auxiliar outras empresas na construção da cultura ágil. Atualmente, é Consultor e Trainer na K21

Artigos relacionados

Avelino segurando um microfone e uma camiseta preta escrita Agile. Ele é pardo, barba e cabelos grisalhos.

Data storytelling. Se você acompanha o nosso blog, já deve ter percebido que eu gosto muito de trabalhar com métricas, dados e gráficos. É interessante, mas esses artefatos, apesar de serem interessantes, sozinhos eles não vão dizer muitas coisas. Você…

Avelino segurando um microfone e uma camiseta preta escrita Agile. Ele é pardo, barba e cabelos grisalhos.

A criação de personas é um dos passos mais importantes no desenvolvimento de produtos, mas pode ser um desafio quando se trata de reunir dados e representá-los de forma precisa. Neste artigo, vou mostrar como usamos a inteligência artificial para…

Avelino segurando um microfone e uma camiseta preta escrita Agile. Ele é pardo, barba e cabelos grisalhos.

Políticas explícitas são o alicerce invisível que mantém times ágeis funcionando com eficiência e harmonia. No contexto do Kanban, elas são mais do que simples regras: são acordos claros que orientam decisões, promovem transparência e evitam confusões. Apesar disso, muitas…

Avelino segurando um microfone e uma camiseta preta escrita Agile. Ele é pardo, barba e cabelos grisalhos.

Há algum tempo escrevemos o artigo sobre o Cemitério Mexicano. Ele fala sobre a importância de comemorar quando descartamos ideias ruins antes que elas entrem no nosso fluxo de trabalho como projetos, iniciativas, novos produtos ou serviços. Naquele artigo citamos…