Lei de Goodhart: quando a métrica vira meta

Certa feita (adoro essa expressão, dá um ar de intelectual), estava em uma empresa e alguém teve a “brilhante” ideia de premiar o time que entregasse mais pontos de história ao longo do ano. Quando ouvi a proposta, foi como se enfiassem duas espadas no meu coração. Uma por premiar pontos por histórias e outra por levar um ano para avaliar. 

Obviamente os times começam a jogar com os números. Histórias que eram de 3 pontos passaram a custar 13; as que eram de 13, passaram a custar 40, e assim por diante. O pior não era só a inflação de pontos. Era a mentira sendo contada, e o tempo que os times perdiam para justificá-la. Parceria criança sendo pega fazendo alguma arte.

Você pode ter passado por algo semelhante em outras situações: a cobertura de testes bateu 90%, e apareceram testes que não verificam nada. Coisas como getNome obtêm o nome e setNome informa o nome. Ou então, o NPS melhorou porque o time passou a pedir nota 10 no final de cada atendimento.

Isso não é falta de caráter da sua equipe. É a lei de Goodhart operando exatamente como esperado.

A frase que virou lei de Goodhart 

Em 1975, o economista britânico Charles Goodhart (não confundir com o Goldratt, escritor do livro “A Meta”), então no Banco da Inglaterra, escreveu uma observação sobre política monetária que virou uma das ideias mais úteis da gestão moderna: 

“Qualquer regularidade estatística observada tende a colapsar quando submetida a pressões de controle.”

Tradução: o resultado que funcionava bem enquanto ninguém olhava para ele deixa de funcionar no momento em que você o transforma em “alavanca”.

A versão que todo mundo cita hoje é da antropóloga Marilyn Strathern, que em 1997 resumiu a ideia estudando avaliação de universidades britânicas: 

“Quando uma medida vira meta, deixa de ser uma boa medida.”

E não é uma descoberta isolada. Em 1976, o psicólogo social Donald Campbell (1916-1996) chegou ao mesmo lugar por outro caminho, olhando para políticas públicas: 

“Quanto mais um indicador quantitativo é usado para tomar decisões sociais, mais ele fica sujeito a pressões de corrupção e mais distorce os processos que deveria monitorar.”

Áreas diferentes, mesma conclusão.

Por que isso acontece? Não é má-fé

Toda métrica é um proxy, uma aproximação. Você não consegue mensurar “valor entregue ao cliente”, pois isso é abstrato e depende do momento e da situação em que a aquisição ocorre. 

Exemplo

Por exemplo, se, após uma atividade física, você chega a um camelô e compra uma água e ele te entrega uma garrafa de 500 ml em vez da de 300 ml, você fica super satisfeito. Se essa mesma garrafa for entregue durante um almoço no restaurante, você fica indiferente. Já se você vai a um mercado durante uma viagem e quer comprar água para levar para o hotel, caso o mercado só tenha água de 500 ml, você provavelmente ficará insatisfeito, pois a expectativa é encontrar garrafas de 1,5 L.

O problema

O problema é que nas três situações não há uma forma real de você medir a satisfação do cliente. Não há uma métrica direta para medir algo abstrato.

Métrica Proxy

Então, para medirmos a satisfação, medimos métricas proxy como receita, retenção, NPS, tickets fechados. O número é uma sombra do que importa, nunca a coisa em si.

Enquanto a métrica só observa, a sombra e o objeto andam juntos. Quando você atrela consequência ao número como bônus, promoção, status na reunião de diretoria, verba do próximo ano, abre-se uma escolha racional para quem está na ponta:

• Melhorar o trabalho de verdade → o caminho difícil com reconhecimento tardio.
• Melhorar só o número → o caminho mais barato com reconhecimento imediato.

Folga

O caminho barato quase sempre existe e, quase sempre, é mais rápido. Ele existe porque nenhuma métrica captura perfeitamente o que você quer: sempre há uma diferença entre o número e o resultado real. É nessa diferença que o atalho mora.

Exemplos da lei de Goodhart

Existem casos bem documentados das consequências da Lei de Goodhart.

Wells Fargo Bank

O caso do banco é o Wells Fargo, e vale contar. A instituição tinha uma meta agressiva de venda cruzada, oito produtos por cliente. Milhares de funcionários passaram a abrir contas e cartões sem autorização para bater o número. Quando o escândalo veio à tona, em 2016, havia milhões de contas não autorizadas, mais de cinco mil demissões e US$ 185 milhões em multas aplicadas por reguladores americanos.

Ninguém acordou querendo fraudar. A meta era pública, o emprego dependia dela e havia um caminho barato.

Houston ISD, o caso Sharpstown (EUA)

Meta de redução de evasão. A escola Sharpstown High reportou uma taxa de evasão de 0%. O fato ficou conhecido como o “Milagre de Houston”. Um diretor adjunto denunciou, e a auditoria estadual descobriu que milhares de alunos que abandonaram a escola tinham sido reclassificados como “transferidos” ou “voltou para o país de origem”. O número não era falso na planilha; era falso na definição.

Ambulâncias do NHS, a meta dos 8 minutos

A meta era chegar a chamados críticos em 8 minutos. Virou rotina despachar o primeiro recurso disponível, às vezes uma moto ou um carro sem capacidade para transportar ninguém, só para “parar o relógio”. O paciente esperava a ambulância de verdade depois. O indicador batia, mas o atendimento não melhorava. Foi justamente esse efeito que motivou a reforma do sistema de resposta em 2017.

Comcast (EUA)

Em 2014, um cliente gravou uma ligação em que tentava cancelar o serviço e foi mantido numa negociação insistente por oito minutos. O áudio viralizou. Depois vieram documentos internos mostrando que a remuneração dos atendentes de retenção dependia de reverter cancelamentos. O atendente não era grosseiro por índole; estava sendo pago pelo número.

Efeito Cobra

Você provavelmente já ouviu também a história das cobras de Délhi: um prêmio por cobra morta teria levado a população a criar cobras para receber a recompensa. É uma ótima parábola e deu origem ao “Efeito Cobra”. 

Entretanto, cuidado, pois não há comprovação histórica sobre o assunto. A origem do nome é rastreável; a história não. O termo “efeito cobra” vem do economista alemão Horst Siebert (1938-2009), que publicou, em 2001, um livro intitulado “Der Kobra-Effekt. Wie man Irrwege der Wirtschaftspolitik vermeidet” (tradução direta para “O Efeito Cobra: Como Evitar os Erros da Política Econômica”). Ele conta a história como uma anedota ilustrativa.

O erro de leitura mais comum

Muita gente sai da lei de Goodhart com a conclusão errada: “então métrica não presta, vamos confiar no feeling”.

Não é isso. Sem indicador, você não tem como saber se está indo bem, e a alternativa, o achismo, é bem pior do que um número imperfeito.

A lei de Goodhart não é sobre medir. É sobre o que você faz com a medida.

Métrica como pergunta funciona. Métrica como sentença, com recompensa e punição coladas nela, corrompe.

O que fazer na prática

Cinco práticas que seguram razoavelmente bem o efeito:

Separe métrica de meta pessoal

No instante em que o número entra no bônus individual, torna-se alvo. Metas coletivas e de resultado, não de atividade, reduzem muito o incentivo a jogar.

Use pares em tensão: métricas que se equilibram

Nenhuma métrica sozinha. A regra do par é simples: escolha um segundo indicador que se agrave quando alguém toma o atalho no primeiro. Se dá para melhorar os dois trapaceando, não é par em tensão, são dois números amigos. Repare que o DORA já nasceu assim. As quatro chaves são dois pares de propósito: velocidade puxando de um lado, estabilidade puxando do outro. Não é coincidência.

Duas ressalvas, senão a tabela vira receita de bolo.

A primeira: par em tensão não é imunidade, é encarecimento. Continua sendo possível burlar os dois, só dá mais trabalho, e trabalho suficiente para que a pessoa comece a considerar fazer certo.

A segunda: não pendure bônus nos dois. Se a recompensa está nos dois, você só dobrou a superfície de jogo.

Prefira métricas de resultado a métricas de esforço.

Story points, linhas de código e tickets fechados medem movimento. Nos OKRs, o que importa é o efeito, e esse é bem mais difícil de falsificar.

Troque as métricas de tempos em tempos

O indicador que permanece no mesmo lugar há cinco anos já foi otimizado de todas as maneiras possíveis. Revisar o painel a cada trimestre é sinal de saúde, não de indecisão.

Pergunte “Como eu bateria essa meta sem fazer nada realmente útil?”

Faça isso antes de publicar a meta, não depois. Se você achar um atalho em dois minutos, alguém sob pressão vai achar em menos de um.

Conclusão

Ninguém no Wells Fargo acordou querendo fraudar. Ninguém em Houston virou professor para adulterar gabarito. Nenhum atendente escolhe encerrar a ligação de um cliente. No meu caso, confesso que, quando vi os pontos saltarem de 3 para 13 e de 13 para 40, minha primeira reação não foi analítica, mas sim a total estupefação (outra palavra bonita). Porque o custo não é um número inflado. É o tempo que o time gasta sustentando um número irrelevante, e a conversa honesta sobre o produto/serviço deixa de acontecer naquele momento.

Métrica como pergunta funciona. Métrica como sentença corrompe.

Quer evitar cair na Lei de Goodhart? Dá uma olhada nos Workshops Estimativa de Backlog e Métricas para Gestão de Produtos.