Nunca houve na blogosfera econômica brasileira tanta discussão sobre causalidade, variáveis instrumentais, econometria galdalfiana e a prática brasileiríssima (silvícola?) do argumento de autoridade.
Não posso negar que saí um pouco chamuscado desse melê. Em meu post inicial sobre o assunto, eu teci algumas considerações simpáticas ao “blogueiro” (conforme JMPM) Reinaldo Azevedo, somente para ser surpreendido por este post, em que RA dribla três oponentes, faz embaixadinha, levanta a bola e marca o gol contra, de bicicleta.
Gostaria então de resumir minhas posições sobre o assunto depois de alguns dias mais de reflexão.
Não posso negar que saí um pouco chamuscado desse melê. Em meu post inicial sobre o assunto, eu teci algumas considerações simpáticas ao “blogueiro” (conforme JMPM) Reinaldo Azevedo, somente para ser surpreendido por este post, em que RA dribla três oponentes, faz embaixadinha, levanta a bola e marca o gol contra, de bicicleta.
Gostaria então de resumir minhas posições sobre o assunto depois de alguns dias mais de reflexão.
A
validade dos instrumentos
Minha principal preocupação “econométrica” com os
resultados do artigo dizia respeito à validade dos instrumentos. Lembremo-nos: o
modelo econométrico do artigo identifica o efeito do BF na criminalidade
baseado na variação temporal da exposição das escolas ao BF causada pela
expansão do programa em 2008. Escolas com mais jovens de 16-17 anos antes da
reforma do programa tiveram um aumento no número de estudantes recebendo o BF.
Comentei que era plausível que houvesse outros fatores
não-observáveis que poderiam invalidar a estratégia de identificação. Por
exemplo, não sei onde ficam as escolas com mais estudantes de 16-17 anos. Seria
na periferia ou no centro? Áreas de classe média ou mais pobres? Esta é uma
pergunta importante, pois se houver diferenças na tendência de queda na
criminalidade entre a periferia e o centro, ou entre áreas de classe média e
áreas mais pobres, isto poderia invalidar a identificação. Se eu estivesse
incumbido de dar um parecer sobre este artigo, eu faria questão de ver um mapa
da cidade de São Paulo com as escolas representadas por pontos cujo tamanho
representa o número de jovens de 16-17 anos pré-reforma. Ficaria mais tranqüilo
se as escolas grandes estivessem espalhadas pela cidade, tanto no core quanto
na periferia.
Por exemplo, é plausível que áreas com mais
criminalidade inicialmente tenham menos serviços públicos (portanto suas
escolas são maiores, cobrem uma área maior) e também tenham uma tendência de
queda da criminalidade mais rápida (porque a criminalidade era mais alta nestas
áreas inicialmente).
O que fazer então? Eu sugeri que os autores fizessem
um teste de placebo. Se existe alguma diferença na tendência temporal da
criminalidade pré-2008 que afeta a identificação, nós encontraríamos que o
número de jovens com 16-17 anos interagido com uma dummy para 2007 teria um coeficiente negativo em uma regressão
usando dados de 2005 a 2007. Eu entendo que os autores realizaram este teste,
não encontraram um efeito do placebo, e assim, responderam
na medida do possível à minha objeção.
A questão
do Nordeste
Reinaldo Azevedo chamou o estudo de “cascata
autoevidente.” Este foi claramente um comentário agressivo e depois disso, o que poderia ser um debate frutífero virou um bate-boca de bar. Mas para o bem de ambas as partes, vamos fingir que os piores momentos nao aconteceram, e prestemos atenção aos argumentos.
Segundo o argumento de RA, o fato que as taxas de homicídio subiram astronomicamente em alguns estados do Nordeste – onde o BF é um programa que cobre uma parcela maior da população – envia um sinal que a pesquisa seria uma “cascata” e representa um “preconceito asqueroso contra pobre”.
Segundo o argumento de RA, o fato que as taxas de homicídio subiram astronomicamente em alguns estados do Nordeste – onde o BF é um programa que cobre uma parcela maior da população – envia um sinal que a pesquisa seria uma “cascata” e representa um “preconceito asqueroso contra pobre”.
Eu comentei que esta observação – ainda que
provavelmente reflita uma falta de entendimento de causalidade pelo Reinaldo
Azevedo – é relevante e deve ser considerada. Cito minhas próprias palavras:
“Se o efeito do Bolsa Família na criminalidade é causal e generalizável (eu não estou convencido que seja um ou outro, e explico logo porque), então este programa teria contribuído para reduzir a criminalidade no Nordeste significativamente. Como sabemos que a criminalidade no Nordeste não caiu, então a divergência na criminalidade entre o Nordeste e São Paulo teria sido ainda maior do que observada – e isso reduz a plausibilidade das estimativas, pois aumenta ainda mais o puzzle do aumento da criminalidade no Nordeste. Na melhor das hipóteses, o fato que a criminalidade aumentou no resto do país sugere que o resultado não seja generalizável.”
Deste
parágrafo, gostaria de emendar o trecho em que afirmo minhas dúvidas sobre a
causalidade do efeito estimado. Tais dúvidas foram substancialmente diminuídas
depois de ler o artigo pela enésima vez e trocar e-mails com um dos
autores.
Mas mantenho minha dúvida sobre a questão da
generalidade dos resultados.
Um bottomline
Apesar das emoções fortes, a atenção que o post do
Reinaldo Azevedo causou foi benéfica. Até semana passada, o
artigo não tinha sido lido por mais que uma media dúzia de gatos pingados (ver
aqui), tenho certeza que essa controvérsia me levou, assim como a muitos leitores
deste blog, a apertar o botão de download.
Eu recomendo fortemente que leiam o artigo,
principalmente aos leitores mais jovens que estão se decidindo se querem
trabalhar com economia aplicada. Se você não apreciar ler este artigo, sugiro
uma carreira em Direito.
Finalmente, não deixem de ler o Reinaldo – ainda que ele não saiba a diferença entre um mago mítico e um cientista, ele acerta bem mais do que a vasta maioria dos pundits na imprensa brasileira. E olha que eu contabilizo como erro cada uma de suas intervenções em que ele aparentemente acredita que o mundo não foi criado pelo monstro voador de spaghetti.
Finalmente, não deixem de ler o Reinaldo – ainda que ele não saiba a diferença entre um mago mítico e um cientista, ele acerta bem mais do que a vasta maioria dos pundits na imprensa brasileira. E olha que eu contabilizo como erro cada uma de suas intervenções em que ele aparentemente acredita que o mundo não foi criado pelo monstro voador de spaghetti.