Quais são as métricas de avaliação da qualidade do modelo
Este artigo explica as principais métricas para avaliar a qualidade de um modelo de MMM e como usar esses indicadores para decidir quando recalibrar o modelo
As métricas abaixo ajudam a Uncover a garantir que os modelos de MMM sejam confiáveis para tomada de decisão. Elas combinam dois pilares: precisão preditiva (o quanto o modelo reproduz bem o KPI observado) e robustez estatística (o quanto as conclusões se mantêm consistentes e interpretáveis ao longo do tempo).
Use-as para responder: o modelo prevê bem o histórico? e as conclusões são estáveis e confiáveis? — e, sempre que possível, compare períodos e mudanças de contexto (ex.: sazonalidade, promoções e ajustes de estratégia de mídia) com o benchmark esperado para decidir se vale recalibrar o modelo.
WAPE (Weighted Absolute Percentage Error)
O WAPE é a principal métrica de precisão preditiva utilizada pela Uncover. Ele é calculado como a soma dos erros absolutos dividida pela soma dos valores reais, o que significa que os erros são ponderados pelo volume real observado.
Essa ponderação torna o WAPE mais relevante para os negócios, pois prioriza a precisão em períodos de maior impacto, como semanas de alto volume de vendas ou eventos promocionais importantes.
Exemplo:
WAPE = 10% → O modelo erra, em média, 10% do volume real do KPI target.
WAPE = 30% → O modelo apresenta baixa precisão, com erro médio próximo de um terço do valor total.
Benchmark Uncover: É esperado um WAPE de no máximo 15%. Modelos com valores acima de 15% devem ser recalibrados, ajustando variáveis ou parâmetros de entrada.
R² (Coeficiente de Determinação)
O R² mede a proporção da variância do resultado (por exemplo, vendas) que é explicada pelas variáveis de entrada do modelo.
Um valor de R² próximo de 1,0 indica que o modelo captura bem os impulsionadores subjacentes do desempenho, enquanto valores mais baixos sugerem lacunas nas variáveis ou ruído nos dados.
Exemplo:
R² = 0,85 → O modelo explica 85% da variância das vendas históricas.
R² = 0,40 → Explica apenas 40%, o que pode indicar ausência de variáveis relevantes (ex.: mídia não capturada, promoções, efeito preço, fatores externos).
O R² não mede o erro em escala absoluta, apenas o quanto da variação nos dados o modelo explica. Por isso, ele deve ser analisado em conjunto com o WAPE para uma avaliação completa da qualidade do modelo.
Ainda com dúvidas? Nossa equipe está pronta para ajudar! Fale conosco pelo suporte ou envie um e-mail para support@uncover.co