O affair Bolsa Família-criminalidade

Nunca houve na blogosfera econômica brasileira tanta discussão sobre causalidade, variáveis instrumentais, econometria galdalfiana e a prática brasileiríssima (silvícola?) do argumento de autoridade.

Não posso negar que saí um pouco chamuscado desse melê. Em meu post inicial sobre o assunto, eu teci algumas considerações simpáticas ao “blogueiro” (conforme JMPM) Reinaldo Azevedo, somente para ser surpreendido por este post, em que RA dribla três oponentes, faz embaixadinha, levanta a bola e marca o gol contra, de bicicleta.

Gostaria então de resumir minhas posições sobre o assunto depois de alguns dias mais de reflexão.

A validade dos instrumentos

Minha principal preocupação “econométrica” com os resultados do artigo dizia respeito à validade dos instrumentos. Lembremo-nos: o modelo econométrico do artigo identifica o efeito do BF na criminalidade baseado na variação temporal da exposição das escolas ao BF causada pela expansão do programa em 2008. Escolas com mais jovens de 16-17 anos antes da reforma do programa tiveram um aumento no número de estudantes recebendo o BF.

Comentei que era plausível que houvesse outros fatores não-observáveis que poderiam invalidar a estratégia de identificação. Por exemplo, não sei onde ficam as escolas com mais estudantes de 16-17 anos. Seria na periferia ou no centro? Áreas de classe média ou mais pobres? Esta é uma pergunta importante, pois se houver diferenças na tendência de queda na criminalidade entre a periferia e o centro, ou entre áreas de classe média e áreas mais pobres, isto poderia invalidar a identificação. Se eu estivesse incumbido de dar um parecer sobre este artigo, eu faria questão de ver um mapa da cidade de São Paulo com as escolas representadas por pontos cujo tamanho representa o número de jovens de 16-17 anos pré-reforma. Ficaria mais tranqüilo se as escolas grandes estivessem espalhadas pela cidade, tanto no core quanto na periferia.

Por exemplo, é plausível que áreas com mais criminalidade inicialmente tenham menos serviços públicos (portanto suas escolas são maiores, cobrem uma área maior) e também tenham uma tendência de queda da criminalidade mais rápida (porque a criminalidade era mais alta nestas áreas inicialmente).

O que fazer então? Eu sugeri que os autores fizessem um teste de placebo. Se existe alguma diferença na tendência temporal da criminalidade pré-2008 que afeta a identificação, nós encontraríamos que o número de jovens com 16-17 anos interagido com uma dummy para 2007 teria um coeficiente negativo em uma regressão usando dados de 2005 a 2007. Eu entendo que os autores realizaram este teste, não encontraram um efeito do placebo, e assim, responderam na medida do possível à minha objeção.

A questão do Nordeste

Reinaldo Azevedo chamou o estudo de “cascata autoevidente.” Este foi claramente um comentário agressivo e depois disso, o que poderia ser um debate frutífero virou um bate-boca de bar. Mas para o bem de ambas as partes, vamos fingir que os piores momentos nao aconteceram, e prestemos atenção aos argumentos.


Segundo o argumento de RA, o fato que as taxas de homicídio subiram astronomicamente em alguns estados do Nordeste – onde o BF é um programa que cobre uma parcela maior da população – envia um sinal que a pesquisa seria uma “cascata” e representa um “preconceito asqueroso contra pobre”.

Eu comentei que esta observação – ainda que provavelmente reflita uma falta de entendimento de causalidade pelo Reinaldo Azevedo – é relevante e deve ser considerada. Cito minhas próprias palavras:

“Se o efeito do Bolsa Família na criminalidade é causal e generalizável (eu não estou convencido que seja um ou outro, e explico logo porque), então este programa teria contribuído para reduzir a criminalidade no Nordeste significativamente. Como sabemos que a criminalidade no Nordeste não caiu, então a divergência na criminalidade entre o Nordeste e São Paulo teria sido ainda maior do que observada – e isso reduz a plausibilidade das estimativas, pois aumenta ainda mais o puzzle do aumento da criminalidade no Nordeste. Na melhor das hipóteses, o fato que a criminalidade aumentou no resto do país sugere que o resultado não seja generalizável.”

Deste parágrafo, gostaria de emendar o trecho em que afirmo minhas dúvidas sobre a causalidade do efeito estimado. Tais dúvidas foram substancialmente diminuídas depois de ler o artigo pela enésima vez e trocar e-mails com um dos autores.

Mas mantenho minha dúvida sobre a questão da generalidade dos resultados.

Um bottomline

Apesar das emoções fortes, a atenção que o post do Reinaldo Azevedo causou foi benéfica. Até semana passada, o artigo não tinha sido lido por mais que uma media dúzia de gatos pingados (ver aqui), tenho certeza que essa controvérsia me levou, assim como a muitos leitores deste blog, a apertar o botão de download.

Eu recomendo fortemente que leiam o artigo, principalmente aos leitores mais jovens que estão se decidindo se querem trabalhar com economia aplicada. Se você não apreciar ler este artigo, sugiro uma carreira em Direito. 


Finalmente, não deixem de ler o Reinaldo – ainda que ele não saiba a diferença entre um mago mítico e um cientista, ele acerta bem mais do que a vasta maioria dos pundits na imprensa brasileira. E olha que eu contabilizo como erro cada uma de suas intervenções em que ele aparentemente acredita que o mundo não foi criado pelo monstro voador de spaghetti.

Posted in: