No Brasil, as avaliações de impacto começam a ser utilizadas para o monitoramento e aprimoramento de políticas públicas e programas educacionais. Mas é preciso avançar não só na realização desse tipo de pesquisa como na utilização das evidências produzidas.

Essa foi umas das principais conclusões do Seminário Internacional Caminhos para qualidade da educação pública: Impactos e Evidências, promovido pelo Instituto Unibanco e pela Folha de S.Paulo, com o apoio do Insper, nos dias 15 e 16 de setembro em São Paulo (SP).

O evento teve como objetivo promover o debate entre pesquisadores e gestores sobre a contribuição das avaliações, estudos e pesquisas para o aprimoramento das políticas públicas e priorização dos investimentos educacionais. “Somente juntos, educadores, gestores, Terceiro Setor e academia, atuaremos de forma consequente e transformadora, mostrando aos jovens que andam desacreditados da ideias de que estudar vale à pena”, afirmou Pedro Moreira Salles, presidente do Conselho de Administração do Instituto Unibanco, na abertura do Seminário.

Integraram a programação especialistas nacionais e estrangeiros, como Francisco Soares (Universidade Federal de Minas Gerais), Paula Louzano (Universidade de São Paulo), Ilkka Turunen (Ministério da Educação da Finlândia) e Miguel Székely (Centro de Estudos Educativos e Sociais do México), entre outros. Gestores públicos brasileiros – como Fred Amancio (SEE-PE), Raquel Teixeira (SEE-GO) e Haroldo Rocha (SEE-ES) – compartilharam suas experiências com o uso de evidências para a melhoria dos resultados educacionais.

Evidência que transforma

Como enfatizou Ricardo Paes de Barros, economista-chefe do Instituto Ayrton Senna e professor do Insper, a avaliação de impacto é “absolutamente necessária” para saber o que efetivamente funciona e, mais do que isso, permite identificar as dimensões que fazem com que uma ação seja bem-sucedida.

“A evidência que importa é a que transforma. Saber que uma política pública funciona não é suficiente. É preciso saber o que funciona e, em alguns casos, o que precisa ser redesenhado para que ela funcione melhor”, afirmou Paes de Barros no encerramento do Seminário.

O economista coordenou a avaliação de impacto do Jovem de Futuro, projeto desenvolvido pelo Instituto Unibanco em parceria com as Secretarias Estaduais de Educação de cinco estados brasileiros que visa qualificar a gestão em escolas públicas de Ensino Médio. A avaliação demonstrou o impacto positivo do programa sobre o desempenho dos estudantes no Sistema de Avaliação da Educação Básica (Saeb). De acordo com a avaliação, ao final de três anos da implantação do Jovem de Futuro, houve aumento médio de cinco pontos desses estudantes tanto Língua Portuguesa como em Matemática no Saeb – o que corresponde ao aprendizado de um ano de Ensino Médio.

“É preciso aprofundar os experimentos analisando detalhadamente os aspectos envolvidos na intervenção a fim de identificar aqueles que possam ter produzido mais impacto no resultado, coletar informações sobre efeitos intermediários, realizar avaliações qualitativas”, afirmou Mirela de Carvalho, gerente de Gestão do Conhecimento do Instituto Unibanco. Esta é, segundo ela, uma fronteira que precisa ser atravessada a fim de que seja possível elaborar e implementar um plano de ação consistente.

Na visão de Paes de Barros, para se “abrir a caixa preta” das políticas e dos programas educacionais, ou seja, para se entender mais a fundo as causas do sucesso ou as limitações de uma intervenção é necessário compreender o que “acontece na sala de aula”, lançando luz sobre os fatores que contribuem para a melhoria da aprendizagem dos estudantes.

Nessa medida, o economista ressaltou a riqueza de práticas educacionais promissoras existentes no Brasil e a necessidade de aprofundar o conhecimento sobre elas. Daí a relevância das avaliações de impacto, que permitem, por meio da adoção de metodologias científicas rigorosas, caracterizar e mensurar essas ações. “É preciso transformar a prática em ciência e a ciência em prática”, sintetizou.

Ao analisar o conjunto de palestras e debates do seminário, Mirela assinalou que o aprimoramento das intervenções envolve a criação de planos de ação pautados por um modelo conceitual dos problemas, diagnóstico baseado em evidências, a escolha de uma ação (modelo de mudança) e conhecer outras experiências, a partir do estudo de meta-análises.

Por serem estudos que analisam o impacto de um conjunto de iniciativas semelhantes, as meta-análises permitem conhecer ações com finalidades e características semelhantes, o que ajuda a delinear e a compreender uma intervenção. Cabe ressalvar, porém, que uma experiência não pode ser replicada com o intuito de obter os mesmos resultados, pois o contexto onde a intervenção se dá é decisivo.

O “avanço da fronteira” da avaliação de impacto para a compreensão mais aprofundada dos efeitos de uma política ou programa sobre uma dada realidade envolve, ainda, uma “aproximação de mundos”, como definiu o superintendente executivo do Instituto Unibanco, Ricardo Henriques.

Para que a aproximação se efetive, é essencial a existência de uma abertura entre dois dos atores principais envolvidos numa avaliação: o avaliador e o gestor escolar. “É preciso que exista uma relação de confiança. O educador precisa perceber que o avaliador se preocupa com o sucesso do programa e vice-versa”, afirmou Paes de Barros.

A “aproximação de mundos” envolve, também, o encontro entre saberes constituídos, em especial, o saber empírico dos gestores de escolas e o saber acadêmico-científico dos pesquisadores e avaliadores.

“Essa relação não envolve subordinação, nem queda de braço. Precisamos avançar no sentido de aproximar linguagens e os modos de ver a realidade, num exercício de tradução, a fim de constituir um campo comum”, preconizou Henriques. Desse modo, constitui-se uma “terceira margem”, onde é possível formular uma agenda capaz de incidir, positivamente, sobre o direito à educação, que nada mais é, em essência, que o direito à aprendizagem.

Acesse o site do seminário para saber mais.