A loucura das métricas

“O que não é/é medido não é/não pode ser gerenciado/melhorado.” – Dr. W. E. Deming

Ah, a frase favorita de muita gente que se envolve com gestão ou melhoria (especialmente se deu o azar de começar nesse mundo com um curso de Lean Seis Sigma)! É a loucura das métricas! Como você pode ver, existem algumas variações/combinações dessa frase, para todos os gostos e necessidades de citação para apoiar uma ideia mais “matemática”, “lógica”, e menos emocional, artística de gestão. Esse texto é um alerta: tome cuidado! A frase acima é um grande problema, é informação ruim, e no mundo do ensino e prática de gestão, informação ruim espalha-se feito praga! Hora de conhecermos alguns motivos para você abandonar essa frase, fugir dessa loucura e seguir aprimorando de verdade a sua prática de gestão.


Primeiro motivo para você ter muito cuidado: ela NUNCA foi dita pelo Dr. W. E. Deming.

Parece sensato que ele a tenha dito, visto que muitos acreditam (infelizmente) que ele era somente um Estatístico. O que ele disse sobre o assunto, na verdade, era bem o oposto:

É errado supor que, se você não pode mensurar, não pode gerenciar – é um mito caro.” – Dr. W. E. Deming, no livro The New Economics, pág. 35

O blog oficial do Instituto Deming comenta sobre este equivoco e mau uso da frase:

“[…] Se você ler a citação original com atenção, está dizendo o oposto do que a maioria das pessoas pensa quando lê a citação abreviada. Esse é um dos perigos do uso de citações sem o contexto. […] E, muitas vezes, quando as pessoas ouvem falar sobre Deming, elas recebem uma breve introdução, o que deixa de fora a maior parte do que ele disse, e a ideia é de que ele era apenas um estatístico. […] Portanto, quando as pessoas veem uma citação enfatizando a importância dos dados atribuída a W. Edwards Deming, parece sensato que ele tenha dito isso. E provavelmente é compartilhado com tanta frequência porque as pessoas percebem que sua organização está se debatendo quando se beneficiariam do uso de dados para melhorar o gerenciamento da situação. Portanto, a citação atrai pessoas que pensam que sua organização falha em usar dados quando deveria usá-los. […] O Dr. Deming acreditava muito no valor do uso de dados para ajudar a melhorar o gerenciamento da organização. Mas ele também sabia que apenas medir as coisas e analisar os dados não era suficiente. Há muitas coisas que não podem ser medidas e ainda precisam ser gerenciadas.”

Dr. Deming foi um brilhante, sem igual, pensador e praticante de gestão no geral. Associar o nome dele somente com Qualidade e Estatística deveria ser considerado um pecado. Uma boa prova está nessa fala de uma pessoa importantíssima de uma empresa referência quando pensamos em gestão baseada no Kaizen:

“Não existe um dia em que eu não pense sobre o que o Dr. Deming significou para nós. Deming é o núcleo da nossa gestão.” – Shoichiro Toyoda, presidente da Toyota de 1982 à 1992.


Segundo motivo: essa frase é falsa.

Pois é. Ela não pode nem ser usada para nos fazer parecer pessoas mais lógicas, precisas e menos emocionais (robôs?). Vamos ver um trecho de um artigo científico escrito pelo professor Bob Emiliani, um praticante exemplar do verdadeiro Lean, que apresenta uma análise dessa frase usando lógica matemática.

 

A declaração “o que é medido é gerenciado” pode ser escrita como: “se x é medido, então x é gerenciado”, onde x é qualquer medição de negócios que esteja sendo considerada. Na lógica matemática, declarações estruturadas como “se-então” são chamadas de declarações condicionais (Solow, 1990) e consistem de duas declarações mais simples: a hipótese “se x é medido” e a conclusão “então x é gerenciado”. Em termos matemáticos,

Hipótese p: “se x é medido”

Conclusão q: “então x é gerenciado”

Simbolicamente:

p → q

Ou em outras palavras:

“se p, então q”

A seta apontando para a direita é o operador condicional. Para que essa declaração seja considerada como verdadeira, as condições mostradas na Tabela II devem ser satisfeitas.

TABELA II

p q p → q
Verdadeiro Verdadeiro Verdadeiro
Verdadeiro Falso Falso
Falso Verdadeiro Verdadeiro
Falso Falso Verdadeiro

A Tabela II é chamada de “tabela verdade”.

Construir uma tabela para a declaração “se x é medido, então x é gerenciado” gera os resultados demonstrados na Tabela III.

TABELA III

p q p → q
Se x é medido Então x é gerenciado Falso
Se x é medido Então x não é gerenciado Verdadeiro
Se x não é medido Então x é gerenciado Verdadeiro
Se x não é medido Então x não é gerenciado Falso

Perceba que os valores Verdade para p → q na Tabela III diferem dos demonstrados na Tabela II. Portanto, a declaração “se x é medido, então x é gerenciado” é falsa. Mas por quê? A explicação é demonstrada na Tabela IV.

TABELA IV

p q p → q Racional
Se x é medido Então x é gerenciado Falso Medir x não requer que x seja gerenciado
Se x é medido Então x não é gerenciado Verdadeiro Medir x não significa que x é gerenciado
Se x não é medido Então x é gerenciado Verdadeiro Não medir x não significa que x é gerenciado
Se x não é medido Então x não é gerenciado Falso Não medir x não significa que x não será gerenciado

Em outras palavras, há condições nos negócios onde tais medições e a gestão destas medições são dissonantes.

Quando colocamos a variação “O que é medido, é gerenciado.” diante de um teste de lógica, encontramos que a lógica é invalida se a frase é usada como um axioma (uso que é feito na maioria dos casos). Medir não significa que será gerenciado, e não medir também não significa que não será gerenciado. Um indicador não se gerencia sozinho: é preciso que alguém queira e saiba usá-lo para gerar algum tipo de ação de gerenciamento e resultado.

Legal, não?

Terceiro motivo: a obsessão por medir te deixa lento.

Imagine a seguinte situação: em uma linha de produção existe uma bancada para montagem do produto. O operador trabalha em pé, e para conseguir performar a operação, precisa estar com o corpo próximo à bancada.

Mas há um problema: a base da bancada não tem um bom espaço para os pés, tornando a operação desconfortável para quem executa. Isso afeta a produtividade, a saúde e a satisfação deste operador.

Fonte: The New Shopfloor Management – Empowering People For Continuous Improvement (1993), Kiyoshi Suzaki

Pergunta: eu preciso ter um indicador para melhorar essa situação? Preciso fazer algum tipo de coleta de dados? Preciso de um dashboard no PowerBI? Ou só preciso conhecer a realidade das pessoas no genba?

Há coisas que precisam, devem e podem ser melhoradas imediatamente.

(Reflexão aleatória com uma dose de bom humor: o bonequinho do Sr. Suzaki lembra muito o bonequinho do Lean Enterprise Institute…quem será que copiou quem?)


Quarto motivo: métricas não agregam valor.

Em outras palavras, do ponto de vista do cliente, geralmente elas são desperdício. Isso aí! Aquele negócio que você quer tanto eliminar. 

Para entender o motivo, passe aqui neste artigo e depois, neste outro. São duas leituras rápidas, praticas e que vão te levar direto ao ponto no assunto.


Quinto motivo: somos bons em medir, mas péssimos em entender e gerenciar

Quantidade de métricas não significa e nunca vai significar qualidade de gestão, e é incrível como uma métrica desnecessária e/ou má gerenciada pode destruir o prazer de trabalhar e os resultados reais dos processos.

A tabela abaixo é um compilado dos resultados de vários anos de aplicação de uma atividade que o professor Bob Emiliani utiliza com seus alunos de graduação no curso Liderança Lean:

“Liste de 3 a 5 métricas utilizadas em seu departamento para acompanhamento da performance. Identifique as crenças favoráveis que devem existir na mente da gestão como motivo para apoiarem essas métricas. Quais são os comportamentos e competências desfavoráveis resultantes nos colaboradores que são responsabilizados pelos resultados destas?”

Aqui, “crença” significa algo aceito como verdade; “comportamento” é a conduta que resulta destas métricas, e “competência” é uma habilidade ou capacidade que os colaboradores desenvolvem a partir destes comportamentos. Os alunos deste curso são profissionais atuantes, com uma média de 10 anos ou mais de experiência de mercado.

Surpreenda-se (ou não) com estes fatos.

Métrica e Gestão em Uso Crença de Gestão (favorável) Comportamento do Colaborador (desfavorável) Competência desenvolvida pelo Colaborador (desfavorável)
Projetos completados no prazo No prazo é bom. Atrasado é ruim. Entregar no prazo, mesmo com qualidade ruim. Ignorar a qualidade.
Projetos completados dentro do orçamento  Dentro do orçamento é bom. Abaixo não é tão bom quanto. Acima do orçamento é muito ruim. Aumentar as estimativas de valores. Nunca aprender a estimar adequadamente. Aprender a amenizar.
$ sob gestão Reflete a complexidade dos projetos e a capacidade do Gerente de Projetos. Superestimar para simular uma carga de trabalho inflada. Se tornar preguiçoso.
Resolvidos no primeiro contato Resolver os problemas dos clientes rapidamente leva a uma maior satisfação dos clientes Resolver os chamados no primeiro contato mesmo se ainda houver trabalho extra a ser feito. Prover serviços reduzidos (versus coerentes).
Total de chamados em andamento Mais chamados em andamento significa que o suporte está trabalhando duro e fazendo trabalho de valor. Suporte atendendo tudo e qualquer coisa para aumentar o total de chamados sendo atendidos. Atender chamados desnecessários.
% de chamados resolvidos O suporte deve resolver os chamados sem a necessidade de transferir para outro departamento. Evitar transferir chamados para outros departamentos, mesmo quando necessário. Economizar chamados, causando demoras no serviço.
Erros em chamados Informações colocadas no sistema de chamados é precisa. Preencher os chamados lentamente. Evitar atualizar as informações por medo de erros. Trabalhar lentamente. Ignorar informações de clientes ruins ou antigas.
Resultados de pesquisa de satisfação de clientes Os resultados das pesquisas provam que a empresa tem foco no cliente. Pressionar os clientes para completar as pesquisas e dar notas excelentes ou não informar os clientes para evitar avaliações negativas. Manipular o sistema e introduzir vieses nos resultados de pesquisas.
Acurácia do forecast Previsões de software/humanas são precisas. Ajustar constantemente as métricas para atingir os números. Foco em métricas internas ao invés das necessidades reais dos clientes.
Qualidade final A qualidade é boa se atingir 98% ou mais. Se o resultado nos testes finais for bom, então o trabalho foi bom. Complacência; não há motivos para melhorar.
Variação do preço de compra Variações favoráveis são redução de custo. Desfavoráveis são aumento de custo. Foco no preço unitário. Comprar maiores quantidades para conseguir um indicador favorável. Pressionar/ameaçar fornecedores para abaixarem os preços. Colocar fornecedores uns contra os outros. Aumentar os estoques, reduzindo o fluxo de caixa.
Entregas completas e entregas no prazo Entregas no prazo significam que os clientes estão satisfeitos. Remover certos pedidos do calculo para melhorar o indicador. Manipular as métricas. Manter a gerência distante.
Feedback das metas anuais individuais Feedbacks indicam 100% o valor e a contribuição dos colaboradores. Priorizar projetos ou atividades atreladas as metas ao invés da realidade das que são importantes para a empresa. Autopreservação e seleção de metas e atividades de acordo com interesses pessoais.
Vendas As vendas do ano devem superar as do ano anterior. Pressionar os clientes para comprarem mais. Ignorar as reais necessidades dos clientes.
Número de visitas em consultórios médicos  Visitar mais médicos irá aumentar as vendas. Visitar médicos mesmo sabendo que não irão comprar. Visitar médicos (quantidade) versus investir tempo entendendo as reais necessidades (qualidade).
Variação do budget Se manter dentro do budget é a coisa mais importante (mais do que a satisfação do cliente) Gastar todo o seu tempo manipulando o budget para evitar variações desfavoráveis. Ignorar oportunidades de melhorar os processos.
Matrículas Aumento anual nas matrículas significa sucesso. Aceitar uma variedade maior de alunos e criar novos programas acadêmicos. Baixos os padrões de admissão e reempacotar programas acadêmicos.
Alunos formados Alta taxa de alunos formados significa que a universidade está fazendo um bom trabalho. Tornar a aprovação nos cursos mais fácil. Ser menos exigente com os alunos e consigo mesmo.
Taxa de evasão  Baixa taxa de evasão significa que a universidade está fazendo um bom trabalho. Criar novos programas para diminuir a taxa de evasão. Aumentar custos.
Custo da qualidade Baixo custo significa boa qualidade. Esconder problemas de qualidade.  Manipular a métrica.
Absorção de mão de obra A taxa de produção deve ser mantida para maximizar a absorção do custo de mão de obra independente da demanda. Produzir produtos que demandem mais horas de mão de obra. Criar a necessidade de horas extra para produzir o que os clientes realmente querem. Aumentar estoques.
Problemas de qualidade pós-venda Problemas de qualidade não devem chegar ao mercado.  100% de reinspeção antes do envio. Encontrar problemas que não são problemas aos olhos do cliente.
Comunicação  Mais reuniões significa melhor comunicação. Se tornar menos atento nas reuniões. Ignorar a gestão.
% de cupons de desconto utilizados Cupons de desconto atraem negócios. Tentar limitar o uso de cupons porque cupons reduzem o lucro. Criar clientes insatisfeitos.
Vendas por técnico de manutenção Técnicos empurram vendas aos clientes quando incentivados. Informação inadequada sobre os reparos realmente necessários. Executar reparos desnecessários.
Conformidade com o procedimento padrão de cotação Conformidade leva a bons resultados. Não se desviar do procedimento. Não melhorar o procedimento.
Retornos por garantia Usar para identificar tendencias e melhorar a qualidade geral do produto. Transferir a culpar para outros departamentos para evitar o impacto no orçamento e nos bônus. Criar hostilidade entre departamentos.
% de produção mensal (atual x planejado) Maior do que 95% não tem problema. Menos que 95% significa que é necessário hora extra. Fazer a quantidade mínima de trabalho para atingir as quantidades. Manipular o sistema para ganhar hora extra.
Taxa de operação de máquina Parada de máquinas é ruim. Manter as máquinas rodando. Manter as máquinas rodando até uma falha catastrófica.
Pacientes por hora Mais pacientes por hora rendem mais receita e lucro. Passar menos tempo com os pacientes. Reduzir a qualidade do cuidado.
Previsão padrão mensal de compras Pedir os mesmos itens/quantidade todo mês estabiliza o orçamento. Sempre pedir as mesmas grandes quantidades. Buscar espaço para estocar o excesso de suprimentos médicos.
Horas trabalhadas por mês Melhor forma de acompanhar a performance departmental Fazer tudo o que o supervisor mandar. Não se preocupar se as necessidade dos clientes estão sendo atendidas.
Completar x módulos de treinamento até a data y Ao completar treinamentos, os colaboradores irão melhorar a performance. Completar todos os módulos no prazo. Atender aos requisitos ao invés de aprender.
% da força de trabalho certificada em Lean Isso vai criar a cultura. Acelerar para completar os treinamentos sem realmente entender o material. Manter a cultura atual.
Vendas Aumenta a base de clientes. Fazer promessas irreais. Culpar a operação por não conseguir entregar.
Tempo perdido por acidentes Todos os acidentes são evitáveis. Pressão para não reportar acidentes. Colaboradores escondem acidentes.
% de disponibilidade de rede Real medida da performance de uma rede. Reportar menos do que o número real de indisponibilidade. Manter o estado atual ao invés de melhorar os serviços.
Revisão anual de performance Mantém ou aumenta a perfomance dos colaboradores. Passar semanas se preparando para a avaliação. Coletar qualquer e todo dado que confirme boa perfomance no trabalho.
Reportes de status semanais Acompanhar em que os colaboradores estão trabalhando. Confusão para montar o reporte semanal. Reportes com foco na quantidade de informação ao invés da qualidade.
% de alterações de engenharia completadas Alta % indica performance favorável. Foco em completar as alterações ao invés de garantir que as alterações foram feitas corretamente. Ignorar tendências nos dados ou problemas maiores de configuração.
% relatórios entregues no prazo Cumprimento de prazos é um reflexo da qualidade do relatório. Foco no prazo ao invés da qualidade. Fazer o mínimo pois raramente a qualidade é questionada.
Dinheiro gasto A burn rate reflete o status dos projetos (adiantado ou atrasado). Gastar dinheiro se atrasado, mesmo que não seja necessário. Parar de gastar quando adiantado, mesmo que seja necessário. Ignorar o acompanhamento financeiro devido a falta de senso de realidade.
Sistema “semáforo” de acompanhamento  Melhor método para reportar o status de projetos para a alta liderança. Passar muito tempo determinando os status vermelho-amarelo-verde. Manipular os números para evitar o status vermelho.
Tempo médio de resolução de chamados Tempo de resposta motiva a melhoria da perfomance. Atender somente chamados de baixa complexidade. Foco em números ao invés da satisfação dos clientes.
Número de alterações no código por mês  Quantidade de alterações representa agregação de valor do colaborador. Escolher alterações fáceis para poder fazer uma quantidade maior de alterações. Redefinir as alterações para que uma única alteração se torne múltiplas alterações.
Tarefas no prazo Colaboradores irão definir prazos e metas realistas. Definir prazos e metas facilmente atingíveis. Se comprometer apenas com atividades que com certeza serão completadas no prazo.
Satisfação dos clientes Devemos satisfazer nossos clientes. Direcionar os clientes para aceitar o que entregarmos. Habilidade de manipular os clientes.
Precisão do forecast Planejadores podem prever o futuro com precisão. Foco em dados históricos para prever a demanda atual. Ignorar eventos futuros que podem impactar a demanda.
% de alcance dos marcos de projeto Representam precisamente o status do cronograma de trabalho. Usar outros dados/informações para tomar decisões precisas. Registros e relatórios que não agregam valor.
Performar uma média de 6 correções por hora Todos os erros são iguais. Foco em corrigir os erros mais fáceis. Evitar erros difíceis de corrigir.
Número de e-mails recebidos com agradecimento de clientes  Quanto mais e-mails um profissional de Engenharia de Software recebe, melhor é o trabalho. Pedir aos clientes e-mails com agradecimentos ao invés de fazer um trabalho melhor. Competição e rivalidade entre os membros da equipe.
Linhas de código por dia Indicador do nível de habilidade dos desenvolvedores (quanto mais, melhor). Foco na quantidade de código ao invés da qualidade do código. Escrever mais linhas de código do que o necessário.
Vendas por colaborador Representa precisamente a produtividade e efetividade do uso dos recursos.  Aumentar as vendas a qualquer custo. Vender coisas que os clientes não precisam.
Presença em reuniões Presença reflete engajamento e participação. Estar presente; marcar presença.

Apenas estar presente nas reuniões.


Bônus: coisas úteis que o Dr. Deming realmente disse

Falas de grandes profissionais e seres humanos são um excelente mecanismo para enfatizar e dar credibilidade para um determinado ponto de vista. Mas elas são realmente úteis para nosso aprendizado somente quando além de selecionarmos boas fontes e conferir a veracidade, colocamos esforço em encontrar e estudar o contexto em que foram ditas ou escritas. Então, para você não sair de mãos abanando desse texto, ou se ficou chateado em saber de todos os problemas com a famosa frase que não é do Dr. Deming, separei algumas excelentes falas deste grande mestre. Elas não são muito boas para afirmar ideias rasas, mas serão um tesouro de estudo caso você queira ir além do que qualquer um vai.

Para você refletir sobre o Controle Estatístico de Processo:

Apagar incêndios não é melhoria de processo. Nem a descoberta e eliminação de uma causa especial detectada por um ponto fora de controle. Isso apenas coloca o processo de volta para onde deveria estar, em primeiro lugar (de um insight de Dr. Joseph M. Juran).” – em Out of the Crisis, pág. 51

Para você refletir sobre o papel da gestão na Resolução de Problemas:

A administração pensa que tudo o que eles precisam fazer é ensinar às pessoas ferramentas estatísticas e todos os seus problemas serão resolvidos. […] O CEP (Controle Estatístico de Processo) é importante, mas os benefícios são insignificantes quando comparados ao que a administração precisa fazer.” – em uma entrevista de 1984

Para você refletir sobre o entendimento da gestão sobre o que significa Qualidade:

’Instalamos* o controle de qualidade.’ Não. Você pode instalar uma nova mesa, um tapete novo ou um novo reitor**, mas não o controle de qualidade. Qualquer pessoa que se propõe a “instalar o controle de qualidade” infelizmente tem pouco conhecimento sobre controle de qualidade.” – em Out of the Crisis, pág. 138

* **Nota de Tradução: instalar é sinônimo de instaurar, establecer e empossar, apesar de raramente ser utilizado como tal na linguagem coloquial. Mantivemos a tradução mais próxima do termo original em inglês, para manter o sentido da frase completa.

E a mais importante desse texto:

Se a gestão define metas quantitativas e torna o emprego das pessoas dependente de atingi-las, elas provavelmente irão atingi-las – mesmo que tenham que destruir a empresa para isso.

Essa é do Dr. Deming também, de verdade.

Espero que você tenha se divertido e aprendido muito com esse texto!

Grande abraço, e até a próxima!

P.S.: O título do artigo foi inspirado pelo título da apresentação “Metrics Madness”, do professor Emiliani.

  • setembro 1, 2021
  • 5