Perícia revela fragilidades na pontuação do Enem 2016

Perícia identifica fragilidades na pontuação do Enem 2016

Uma análise técnica realizada no Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep) revelou importantes fragilidades na pontuação do Enem 2016, levantando questionamentos sobre a equivalência das duas aplicações realizadas naquele ano. O trabalho, encomendado pelo Ministério Público Federal (MPF) em Uberlândia (MG), investigou se as diferenças no número de candidatos entre as duas edições influenciaram nos resultados finais e prejudicaram os alunos que participaram da segunda aplicação.

O Enem 2016 foi realizado em duas ocasiões distintas em decorrência de ocupações estudantis que ocorriam em escolas públicas brasileiras. A primeira aplicação aconteceu nos dias 5 e 6 de novembro, com participação de aproximadamente 5,8 milhões de candidatos. A segunda edição foi realizada em 3 e 4 de dezembro, contando com menos de 170 mil participantes inscritos, dos quais pouco mais de 160 mil efetivamente realizaram as provas.

Contexto das ocupações e adiamento das provas

A onda de ocupações estudantis que tomou conta do país em outubro de 2016 criou uma situação inédita para o Enem. Estudantes protestavam contra a reforma do ensino médio e a Proposta de Emenda Constitucional 241 (PEC 241), transformando diversas escolas em locais de manifestação que posteriormente não poderiam servir como polos de aplicação do exame. O Ministério da Educação precisou adiar a prova para mais de 270 mil candidatos, o que impossibilitou uma simples reaplicação durante a semana, exigindo uma segunda data inteira em dezembro.

Quando os resultados foram divulgados em janeiro de 2017, centenas de candidatos da segunda aplicação procuraram o Ministério Público relatando inconformismo com as notas obtidas. Muitos alegavam que suas pontuações eram significativamente inferiores às de colegas que haviam feito a primeira prova, levantando suspeitas sobre a metodologia de cálculo utilizada pelo Inep.

Detalhes da perícia e metodologia analisada

A perícia foi conduzida por Tufi Machado Soares, professor do Departamento de Estatística e coordenador da Unidade de Pesquisa do Centro de Políticas Públicas e Avaliação da Educação (Caed) da Universidade Federal de Juiz de Fora (UFJF). O especialista possui experiência reconhecida na Teoria da Resposta ao Item (TRI), metodologia utilizada pelo Enem para gerar as notas dos candidatos. Atuando como membro do conselho científico do exame, o perito teve acesso a informações sigilosas do Inep e elaborou um documento de 207 páginas entre 5 e 9 de fevereiro de 2018.

A Teoria da Resposta ao Item, adotada pelo Enem desde 2009, é uma metodologia que considera não apenas a quantidade de questões acertadas, mas também a dificuldade de cada item e o padrão de acertos do candidato. Segundo o MPF, a TRI leva em conta variáveis como o número total de participantes em cada aplicação, o percentual de "treineiros" (candidatos que participam apenas para treinar) e a abstenção, podendo gerar discrepâncias quando esses números são muito diferentes.

Fragilidades identificadas no laudo

O documento enviado ao MPF apresentou uma lista ordenada de fragilidades encontradas no processo de pontuação das medidas do Enem 2016. O primeiro ponto de preocupação foi o número limitado de itens comuns previamente calibrados nos pré-testes e fixados na prova regular do exame. Em segundo lugar, o perito apontou problemas no tamanho das amostras de calibração utilizadas em alguns pré-testes.

Outros pontos críticos mencionados incluem a precisão insuficiente com que os resultados do Enem são reportados ao público e a ausência de informações transparentes sobre a qualidade dos testes e das medidas realizadas. Esses problemas afetariam diretamente a comparabilidade dos resultados produzidos para as duas provas diferentes aplicadas em 2016.

Análise por disciplina

Na análise comparativa entre as disciplinas, o laudo revelou que as provas de Ciências Humanas e Ciências da Natureza apresentaram níveis praticamente equivalentes de precisão em quase todos os níveis de proficiência. Ainda assim, a prova da segunda aplicação em Ciências da Natureza mostrou-se ligeiramente mais fácil que a primeira.

As maiores diferenças foram observadas nas disciplinas de Linguagens e Códigos e Matemática. Na primeira, os candidatos da primeira aplicação obtiveram vantagem, enquanto na segunda, os da segunda aplicação apresentaram desempenho relativamente melhor. As menores discrepâncias ocorreram em Ciências da Natureza. Contudo, o perito ressalvou que não é possível realizar uma análise completa de comparabilidade para todos os casos individualmente, ressaltando que cada situação precisaria ser avaliada separadamente.

Posicionamento do Inep

O Inep, por sua assessoria de comunicação, informou que não foi notificado oficialmente sobre qualquer resultado relativo à perícia realizada em fevereiro de 2018. O instituto ressaltou que conta com consultoria de diversos especialistas em análise estatística e psicométrica de avaliações em larga escala e mantém confiança total na metodologia adotada desde 2009, reconhecida nos âmbitos nacional e internacional.

Em sua resposta, o Inep considerou o laudo como "uma opinião isolada", afirmando que se pronunciaria adequadamente quando recebesse notificação oficial dos resultados. A instituição não reconheceu inadequações em seus procedimentos de cálculo das notas do Enem 2016.

Próximos passos e audiência pública

O procurador da República Leonardo Macedo, responsável pelo inquérito civil sobre irregularidades no Enem 2016, encaminhou o resultado da perícia tanto para o Inep quanto para os estudantes que se sentiram lesados pelo teste. Segundo Macedo, o laudo é extenso e não apresenta uma conclusão única e definitiva, o que exigirá análise cuidadosa de todos os interessados.

O MPF planeja realizar uma audiência pública onde todas as partes poderão expor seus pontos de vista sobre o assunto. Somente após essa discussão pública, a instituição analisará as medidas cabíveis, que podem incluir pedidos de indenização aos candidatos prejudicados, aumento de notas ou outras alternativas. Conforme explicou Macedo, o órgão procede com cautela nesse "elefante de porcelana", reconhecendo a complexidade e a sensibilidade da questão envolvendo milhões de estudantes.