TOPO

Análise sobre os resultados históricos do Ideb

11/09/2020 | Editado em 14/09/2020 11:58

Questões importantes na análise dos resultados do Ideb

  • Resultados referentes a 2019 devem ser divulgados em breve pelo Inep
  • Estagnação do ensino médio até 2017 esconde variações entre Estados
  • Entenda como é calculado e ações que podem explicar resultados

O Inep (Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira) está prestes a divulgar, ainda neste mês de setembro, os resultados de 2019 do Ideb (Índice de Desenvolvimento da Educação Básica). Olhando em retrospectiva, a trajetória do principal indicador oficial da qualidade de ensino no Brasil mostra que, desde 2005, o país tem registrado avanços significativos nos primeiros anos do ensino fundamental, ganhos modestos no segundo ciclo também do fundamental, e um quadro de praticamente estagnação no ensino médio. Por conta de seus piores resultados, esta última etapa é a que tem mais despertado preocupação da sociedade.

Quando os indicadores do primeiro ciclo do ensino fundamental começaram a melhorar, havia a expectativa de que seria uma questão de tempo para que esse movimento, tal qual uma onda, em breve chegasse ao ensino médio. Analisando a média de todas as redes estaduais do Brasil, no entanto, o quadro é pouco animador: entre 2009 e 2017, o Ideb do ensino médio avançou apenas 0,1 ponto, indo de 3,4 para 3,5. A julgar pelas metas traçadas pelo MEC para esta etapa, a previsão era de que no período este avanço fosse de 1,2 ponto no caso das escolas administradas pelos Estados.

No entanto, um equívoco recorrente na interpretação desses números é tomar esse 0,1 ponto de avanço em oito anos como um resultado generalizado em todos os Estados. Por se tratar de uma média, o Ideb que representa o conjunto de todas as redes estaduais do país esconde trajetórias diversas entre unidades da federação. Em sete delas, por exemplo, o avanço do Ideb entre 2009 e 2017 foi igual ou superior a 0,5 ponto. É o caso de Goiás (melhoria de 1,2 ponto), Pernambuco (1,0), Espírito Santo (0,8), Piauí (0,7), Alagoas (0,5), Rio de Janeiro (0,5) e Ceará (0,5).

Com exceção da rede estadual do Rio de Janeiro, que tem apresentado uma trajetória errática no período analisado, em todas as demais em que esse aumento de ao menos 0,5 ponto foi detectado a trajetória de melhoria é contínua (em alguns casos desde 2013, em outros desde 2005) e ocorre nos dois componentes que fazem parte do Ideb: a nota média dos estudantes em provas de Matemática e Língua Portuguesa e a taxa de aprovação. Quatro desses Estados com avanços mais expressivos – Goiás, Espírito Santo, Piauí e Ceará – são parceiros do Instituto Unibanco no programa Jovem de Futuro.

Destacar que alguns Estados apresentam trajetória contínua de melhoria acima da média nacional não significa, obviamente, dizer que o nível de qualidade do ensino médio já seja satisfatório. Mas um exercício importante de ser feito sempre que há uma nova divulgação de resultados do Ideb é olhar para as redes com resultados mais consistentes para mapear as ações que podem explicar seu desempenho.

Ações em comum

Foi isso que fez o Instituto Unibanco numa série de textos para o Boletim Aprendizagem em Foco, publicados no primeiro trimestre de 2019, em que foram analisadas as estratégias das quatro redes estaduais com melhores resultados no Ideb do ensino médio de 2017: Goiás, Espírito Santo, Pernambuco e Ceará.

Ações em comum nos quatro Estados líderes do Ideb

Entre as ações em comum identificadas, a partir do depoimento de seus próprios gestores, em todas essas redes estavam a criação de uma cultura de gestão focada em resultados de aprendizagem, uso de avaliações como ferramentas pedagógicas, políticas de suporte às escolas e o incentivo ao protagonismo jovem.

O papel do supervisor escolar (também chamado em alguns Estados de superintendente, tutor ou inspetor) foi um dos mais destacados para a viabilização de uma política de suporte às escolas, e não meramente de fiscalização. Este é um conceito que está muito presente em Pernambuco e nas redes parceiras do programa Jovem de Futuro (no caso analisado, Ceará, Espírito Santo e Goiás). Há o entendimento de que os resultados de aprendizagem são de responsabilidade de todos, e não apenas das escolas. As estruturas da secretaria, portanto, precisam estar alinhadas à gestão escolar para identificar as ações de sua alçada que vão contribuir para que as escolas avancem no aprendizado dos alunos.

O uso pedagógico das avaliações foi outro ponto em comum destacado. A ideia central é de que os testes padronizados aplicados em toda a rede – por exames estaduais ou nacionais – devem servir principalmente para diagnosticar os problemas de aprendizagem, de modo que os gestores escolares e dos sistemas planejem, executem, monitorem e corrijam ações para combater o problema.

O protagonismo jovem, também uma premissa bastante trabalhada nos parceiros do Jovem de Futuro e em Pernambuco, é executado nesses Estados por diferentes estratégias, mas todas pensadas em aumentar a participação dos estudantes na gestão das escolas.

Além dos elementos em comum, há também aspectos que apareceram com mais ênfase em um ou outro Estado. Pernambuco, por exemplo, é um caso conhecido nacionalmente por ter ampliado sua rede de escolas em tempo integral. No Ceará, um destaque é a mobilização de todas as escolas para aumentar e qualificar a participação dos estudantes no Enem. No Espírito Santo, foi citada uma importante reforma curricular feita em 2009. Em Goiás, gestores locais creditaram parte dos resultados também ao uso de materiais pedagógicos estruturados alinhados ao currículo local.

Como se vê, há pontos em comum e outros que são mais ou menos realçados pelas autoridades locais. O erro de muitas análises superficiais sobre processos tão complexos quanto à gestão educacional é tentar isolar uma única variável como a explicação de um resultado expressivo. Uma lição importante dos Estados que mais avançaram é, portanto, a coerência e sustentabilidade das ações implementadas.

Histórico

Para melhor analisar os resultados do Ideb, é importante também conhecer um pouco de sua trajetória e de como ele é calculado. O indicador foi apresentado pela primeira vez à sociedade em 2007, na gestão do então ministro da Educação Fernando Haddad. Reynaldo Fernandes, pesquisador da USP, foi o responsável, como presidente do Inep na época, de propor um indicador sintético, que olhasse tanto para a aprendizagem dos alunos medida em testes padronizados quanto para as taxas de aprovação.

O Brasil já possuía, desde 1995, um sistema de avaliação padronizado que permitia a comparação ao longo do tempo do resultado de alunos em testes de português e matemática. Esse avanço aconteceu na gestão, de 1995 a 2002, do ministro Paulo Renato Souza (falecido em 2011), na época em que a presidente do Inep era Maria Helena Guimarães de Castro, atual presidente da Associação Brasileira de Avaliação Educacional e membro do Conselho Nacional de Educação. Antes de 1995, o Brasil não possuía nenhum instrumento que permitisse comparar os resultados de aprendizagem dos alunos em testes ao longo do tempo. Portanto, não havia como mensurar a evolução da aprendizagem nas disciplinas avaliadas.

Ter esses instrumentos, portanto, foi um passo importante na avaliação educacional brasileira. No entanto, além do baixo desempenho educacional dos jovens brasileiros em testes, outro problema que estava correlacionado a este era o das altas taxas de reprovação no país.

Uma preocupação identificada por especialistas em educação na época de criação do Ideb era o de que a ênfase apenas no aprendizado medido por testes gerasse nos sistemas educacionais um efeito colateral de aumento da repetência. Como apenas os alunos das fases finais do ensino médio e dos dois ciclos do fundamental (no 5º e no 9º ano) são avaliados, poderia haver um incentivo indesejado para que alunos de menor desempenho fossem retidos em séries intermediárias. Desta forma, eles não fariam o exame – portanto, não entrariam no cálculo das médias -, mas sofreriam as consequências da reprovação, aumentando significativamente o risco de evadirem do sistema.

O Ideb tenta corrigir essa distorção ao agregar num mesmo indicador, além dos resultados de aprendizagem em avaliações externas, também as taxas de aprovação verificadas no Censo Escolar ao longo das séries que compõem os ensinos médio e fundamental. Desta maneira, se uma rede ou escola abusar da estratégia de reprovação ou evasão para obter melhores resultados de aprendizagem em testes, o Ideb é afetado por causa da diminuição das taxas de aprovação, já que um percentual menor de alunos será aprovado.

A estratégia de aumentar as taxas de aprovação de alunos sem a preocupação de trabalhar de forma adequada sua aprendizagem também tende a ser penalizada pelo indicador, já que, neste caso, o resultado em testes de matemática e português puxaria o resultado para baixo. A mensagem por trás do indicador, portanto, era clara: é preciso avançar tanto no aprendizado quanto na aprovação.

Como é calculado

Por ser um indicador que sintetiza numa única escala duas informações tão importantes dos resultados educacionais, é preciso analisar a trajetória do Brasil e de todas as redes e escolas com dados divulgados por esses dois critérios. Em 2018, na última divulgação do Ideb, inclusive, a estratégia do MEC foi divulgar separadamente, num intervalo de poucos dias, os indicadores de resultados em testes e o consolidado do Ideb, que inclui também as taxas de aprovação. Para este ano, a expectativa é de que os resultados voltem a ser divulgados de uma vez só.

No caso dos testes utilizados para calcular o Ideb, eles fazem parte do Sistema de Avaliação da Educação Básica. Os resultados desses exames são apresentados numa escala que vai de zero a 500 pontos. Ela é de mais difícil interpretação para o público leigo, que está mais acostumado a medidas que variam de zero a 10 ou zero a 100.

Outra dificuldade na interpretação dos resultados é que não há uma definição oficial do que seria o resultado desejado em cada nível de ensino. Dizer que a média de alunos de todo o Brasil em matemática em 2017 foi de 260 pontos, por exemplo, explica muito pouco para a sociedade o que isso significa.

Na ausência de um critério oficial para determinar qual seria a pontuação que indicaria um aprendizado considerado adequado em cada etapa, o movimento Todos Pela Educação elaborou uma nota técnica em 2007 propondo esses recortes. No caso de matemática no 3º ano do ensino médio, por exemplo, a equipe técnica mobilizada pelo Todos sugeriu o patamar de 350 pontos. Esse exercício facilita a comunicação dos resultados, pois pode-se calcular o percentual de estudantes em cada nível de ensino com aprendizado considerado adequado. Por essa escala de interpretação dos resultados sugerida pelo Todos, em 2017, o percentual de alunos com aprendizado adequado no 5º ano do ensino fundamental era de 56% em língua portuguesa e de 44% em matemática. Ao final do ensino médio, essas proporções caem bastante, chegando a apenas 29% em língua portuguesa e a 9% em matemática.

Mesmo não trabalhando com uma interpretação oficial dessa escala, o Inep também realiza um exercício de simplificar a interpretação de resultados do Ideb, fazendo um ajuste dos resultados nos testes para uma escala de zero a dez. Esse é o chamado indicador de aprendizagem. Como o indicador considera também o fluxo, a medida adotada é o percentual de alunos aprovados ao longo das séries anteriores ao 5o ou 9o ano do fundamental ou ao 3o ano do ensino médio. Desta forma, se a taxa de aprovação ao longo de três anos do ensino médio foi de 83% dos alunos, o indicador de fluxo será de 0,83. Se o indicador de aprendizagem (traduzido para uma escala de zero a dez a partir dos resultados em testes de matemática e português) for de 4,2, o cálculo final do Ideb é feito pela multiplicação de 4,2 por 0,83. O resultado final nesse exemplo – que são exatamente os dados registrados para a média brasileira de todas as redes estaduais em 2017 – seria de 3,5.

Além de facilitar a comunicação do indicador ajustando-o para uma escala de zero a dez, outro exercício importante feito no momento de criação do Ideb foi o de tentar estabelecer o que seria a meta desejada a ser alcançada ao longo do tempo em todo o país e em cada rede ou escola com resultados divulgados. Considerando o resultado de todo o país (incluindo até escolas particulares), a meta estabelecida pelo MEC foi de 6,0 para o primeiro ciclo do ensino fundamental até 2021, 5,5 para os anos finais, e de 5,2 para o ensino médio. Essa nota 6,0 não foi aleatória, mas fruto de um exercício estatístico que tentou parametrizar os dados brasileiros com os do Pisa (exame internacional da OCDE). A média 6,0, portanto, sinalizaria um patamar médio de qualidade semelhante ao dos países da OCDE (Organização para a Cooperação e Desenvolvimento Econômico).

Os resultados dos anos iniciais do ensino fundamental indicam que o país estava, ao menos até 2017, numa trajetória favorável para bater a meta. No caso do segundo ciclo, seria necessário um esforço adicional para isso, mas que parecia ainda viável. A nota pessimista fica por conta do ensino médio, em que os resultados da média nacional estão muito abaixo do que era previsto para o setor.

No caso do ensino médio, há ainda uma outra questão relevante a ser considerada no cálculo do Ideb: a inclusão ou não de escolas profissionalizantes. Até a última edição, os resultados dessas escolas não entravam para o computo geral do indicador em cada rede. Esta decisão, porém, gerou muitas críticas de Estados que estavam investindo mais fortemente na ampliação de sua rede de escolas técnicas vinculadas ao ensino médio. Caso essas escolas sejam consideradas, a expectativa de muitos gestores estaduais é de que o desempenho aumente, considerando que essas escolas costumam ter desempenho melhor do que a média da rede estadual em exames como o Enem e o Saeb. Será necessário, portanto, analisar cada rede considerando seus resultados com e sem essas escolas, para que a comparação da série histórica não seja afetada pela decisão de incluir ou não as profissionalizantes no cálculo.

O sistema de avaliação da qualidade da educação brasileira ainda precisa de muitos aperfeiçoamentos. Há limitações a serem consideradas em sua interpretação, como, por exemplo, o fato de outras áreas do conhecimento não serem avaliadas e de dimensões também importantes para a cidadania, mas mais difíceis e serem mensuradas (como o bem-estar dos alunos e seu desenvolvimento socioemocional) ficarem de fora do indicador. Ainda assim, o Ideb pode ser considerado um avanço no monitoramento da qualidade do ensino no país. Saber interpretá-lo corretamente e ir atrás das lições que redes com bons resultados podem ensinar é uma forma de contribuir com o debate público necessário sobre o que precisamos fazer para avançar na educação brasileira.

 

Para saber mais:

As lições dos quatro Estados líderes do Ideb

Guia explica tudo sobre o Ideb

TODOS PELA EDUCAÇÃO. Nota técnica preliminar: metodologia para obtenção das metas finais e parciais. São Paulo, 2007.

Compartilhe esta notícia!