Pular para o conteúdo
Acurácia

Como a estimativa foi testada

Backtest fora da amostra com dados públicos da CEASA-RJ, do IBGE (IPCA da Região Metropolitana do Rio) e do DIEESE. Os números abaixo saem direto dos arquivos de resultado do teste, sem ajuste manual.

Método em 6 linhas

  1. Origem móvel. Em cada mês, o modelo é reestimado só com o que existia até aquela data e prevê a variação do preço de varejo.
  2. Dia 15. A estimativa sai no dia 15. Cada origem foi conferida contra o calendário real de divulgação do IBGE e do DIEESE.
  3. Sem dado futuro. Do mês corrente entra só o primeiro boletim CEASA-RJ (dia 7 ou antes). Nenhuma origem usou dado ainda não publicado.
  4. 4 métodos simples de comparação. Preço estável (random walk), repetir o ano anterior (naive sazonal), média móvel de 3 meses e média sazonal histórica.
  5. Diebold-Mariano. Teste de diferença de erro, com correção de Harvey-Leybourne-Newbold, contra o preço estável e contra o melhor método simples de cada série, escolhido depois de ver os resultados. Essa escolha favorece o método simples.
  6. Amostra. 27 a 29 meses de previsão entre 2023 e 2026, 9 séries de 6 alimentos, horizontes de 1, 2 e 3 meses.
Resultado

Placar por horizonte

O horizonte de 1 mês é o mês corrente na data da estimativa, com metade do mês decorrida e a primeira semana do atacado já observada. Nele o modelo ganhou. Em 2 e 3 meses, não.

Modelo de transmissão atacado-varejo, 9 séries. RMSE relativo abaixo de 1 = erro menor que o do método comparado.
Horizonte Supera preço estávelcom p < 0,05 Supera melhor método simplescom p < 0,05 RMSE relativo, medianavs preço estável RMSE relativo, medianavs melhor método simples Acerto de direçãomediana
Carregando…

Detalhe

Métricas por série e horizonte

RMSE da variação acumulada em pontos percentuais. p = p-valor do teste Diebold-Mariano. MAPE = erro percentual médio do nível de preço.
Série h Meses RMSE (pp) vs preço estávelRMSE rel. (p) Melhor método simples vs melhor simplesRMSE rel. (p) Direção MAPE Dias antesda divulgação, mediana
Carregando…
Figuras do backtest

Os mesmos resultados em gráfico

Barras de redução do RMSE contra o preço estável por série e horizonte. No horizonte de 1 mês as 9 séries têm redução, com significância a 5% em cebola IPCA, batata IPCA e batata DIEESE.
Redução do erro contra o preço estável, por série e horizonte, com marcação de significância.
Barras de redução do RMSE contra o melhor método simples. No horizonte de 1 mês 7 de 9 séries têm redução, nenhuma significativa; em 2 e 3 meses a maioria das séries tem aumento de erro.
A mesma comparação contra o melhor método simples de cada série, a versão mais exigente.
Nove painéis com a variação mensal prevista e a realizada no horizonte de 1 mês, de dezembro de 2023 a setembro de 2026, uma por série.
Previsto e realizado no mês corrente para as 9 séries.
Barras de acerto de direção do modelo e da média sazonal por série no horizonte de 1 mês; mediana de 72% para o modelo e 66% para a média sazonal.
Acerto de direção (sobe ou desce) do modelo e da média sazonal.
Correlação entre a variação do atacado com defasagem de k meses e a variação do varejo, por item; o pico fica em k igual a zero, com resíduo em k igual a um.
Correlação descritiva entre atacado e varejo: pico no mesmo mês e resíduo no mês seguinte. Por isso o ganho depende de ler o atacado antes do índice sair.
Resultado negativo

O que não funcionou

  • Horizontes de 2 e 3 meses. O modelo superou o preço estável em 8 e 6 das 9 séries, mas perdeu da média sazonal em 7 de 9. Para tomate e batata em 3 meses, a perda foi significativa.
  • Camada de fatores econômicos. No varejo (2018-2026, 21 séries), câmbio, diesel, clima e inflação de alimentos superaram o modelo só com o histórico do item em 2 de 21 séries. No atacado da CEASA-RJ, o modelo com esses fatores perdeu do preço estável nos 6 itens em 1 e 2 meses. Gradient boosting também não ajudou.
  • Atacado mensal sem a primeira semana. Sem o boletim do mês corrente, o atacado deixou o erro 3% maior que o do modelo só com o histórico do varejo.
  • Banana no DIEESE. O varejo mede a dúzia com variedades misturadas; o atacado, a caixa de banana-prata. A transmissão é fraca.
  • Nenhum ganho de modelos complexos. O melhor resultado veio de uma regressão linear.
Regra de corte

Quando um número não aparece

  • Por série, mês a mês. A estimativa só é publicada se, até a data, o erro do modelo naquela série ficou abaixo do erro da média sazonal. Se não ficou, a série vai para só monitoramento.
  • Dado vencido ou histórico curto. Sem o boletim CEASA-RJ da primeira semana, ou com menos de 8 meses de erro avaliado, a tela mostra sem recomendação.
  • No projeto. O protocolo será fixado antes dos testes, com comparação principal contra a média sazonal e tratamento de comparações múltiplas. A meta é manter ou ampliar o ganho em pelo menos 7 de 9 séries e estender a avaliação a 12 séries ou mais. Resultado negativo será publicado.
  • Fatores econômicos. Decisão de continuidade no mês 6 do projeto.
Limitações

O que pesa contra estes números

  • A série de atacado é curta: 52 meses entre 2022 e 2026, com 5 meses sem boletim. Isso dá 24 a 29 meses de avaliação por célula e pouco poder estatístico.
  • São 27 comparações. A 5%, cerca de uma significância apareceria por acaso, e não houve correção para comparações múltiplas.
  • O preço da CEASA-RJ é a cotação mais comum do boletim, sem ponderação por volume, numa amostra de 4 boletins por mês.
  • O treino mínimo baixou de 24 para 18 meses depois da primeira rodada, para chegar a pelo menos 24 meses de avaliação. Com 24 meses de treino a conclusão era a mesma.

Código e dados do backtest: github.com/Cesta-Previa/backtest-cesta-rj. Para a camada de fatores econômicos, o projeto conta com uma bancada de experimentos já construída (ETL de 6 fontes, validação temporal e benchmark); sua primeira rodada exploratória consta do PDF de evidências da Fase 2.