Falhas na aplicação do Enem não são significativas

O ministro da Educação, Fernando Haddad, declarou que não há preocupações quanto à proposta de anular o Exame Nacional do Ensino Médio (Enem), feita pela Juíza da 7º Vara Federal do Ceará, Karla de Almeida Miranda Maia. A jurista se baseia em falhas de impressão nos cadernos de cor amarela, que alteraram a ordem correta das questões e respostas de gabaritos e provas. Em entrevista cedida a Luis Nassif, Haddad explica que o problema ocorreu em 21 mil dos 4, 6 milhões de cadernos aplicados. Ainda assim, não significa que todos os 21 mil estudantes que realizaram o teste foram prejudicados pela inversão da ordem de questões entre gabarito e caderno de questões.
A organização do Enem tinha na ocasião 370 mil cadernos para substituir os 21 mil com falhas de impressão. Assim, os alunos que perceberam a quebra numérica das questões, levantaram a mão, puderam trocar de caderno. Desde então, o número de prejudicados vem caindo, desde domingo, de 21 mil pessoas, para 2 mil na segunda. “Agora, o número está na casa de centenas”, completou. O ministro também falou da possibilidade de uma nova provar ser aplicada aos alunos prejudicados, com igual grau de dificuldade dos testes aplicados no último fim de semana.

Acompanhe a entrevista na íntegra:
Luis Nassif – Em relação ao Enem, hoje fazendo um balanço, qual o percentual de provas que apresentaram problemas?
Fernando Haddad – O percentual que apresentou problemas é o mesmo, que são aqueles 21 mil cadernos em 4, 6 milhões. Quer dizer, um percentual muito reduzido. Mas esse percentual é muito menor porque nós tínhamos 10% de reserva técnica, que no caso de um quarto das provas de cor amarela representa 120 mil cadernos, mais a abstenção do dia, que foi de 25%, que dá outros 250 mil cadernos, nós tínhamos, portanto 370 mil cadernos para substituir os 21 mil com falha de impressão.
Ou seja, bastava o aluno, assim que percebeu uma quebra numérica das questões, levantar a mão e fazer o que qualquer aluno faz nesses casos quando percebe que a impressão gráfica está com problemas, requerer um caderno novo. E aí teria disponível.
Por isso que esse número vem caindo desde domingo. Nós saímos domingo preocupados com a possibilidade de 21 mil pessoas terem sido prejudicadas. Esse número caiu para 2 mil na segunda feira, porque nós começamos a receber os relatos dos fiscais de prova. E agora o número está na casa das centenas.
Então, nós vamos fechar esses números nos últimos dias, mas o relato que nos chega da ponta, e todo dia é processado um lote, é de que é mínimo o número de estudantes que não conseguiram trocar o caderno com a falha de impressão por um caderno sem falha de impressão e realizar sua prova normalmente.

LN – Teve o problema dos cadernos, e teve também o problema do gabarito?
FH – Não, não. Ali não é essa questão. É que alguns alunos, e alguns fiscais de prova, estamos apurando isso também, porque é mais fácil de resolver… Há fiscais de prova que orientaram os alunos à preencher o gabarito na ordem inversa, em função do cabeçalho. Esses alunos, o único pedido deles, é que a prova seja corrigida da forma como eles preencheram. Então basta ele informar, no portal do MEC que ele preencheu o gabarito na ordem inversa por recomendação do fiscal.
Como todo mundo da sala fez o mesmo, ou uma boa parte dessa sala fez o mesmo, nós vamos saber onde o problema ocorreu. Isso ocorreu muito restritamente, aí o fiscal vai firmar a informação, e a correção vai ser feita da maneira como o aluno preencheu.
Esse é um problema menor porque você automatiza a informação. O aluno entra no site, informa. Você junta os requerimentos por sala, consulta o fiscal, valida e faz a correção na ordem correta. Esse é o problema menos preocupante no momento. O problema é que está sendo processado com mais rapidez, porque ele exige uma reaplicação da prova… é um problema relativo a impossibilidade de troca da prova porque a reserva técnica e as provas dos que abstiveram de participar não foram suficientes – em um caso ou num outro – para repor todas as provas afetadas pelo erro da gráfica.

LN – E são esses os casos que você diz que estão no caso das centenas?
FH – [Sim]… no caso das centenas.
Provas iguais
Grupos prejudicados poderão fazer 2º Enem
O ministro da Educação, Fernando Haddad, lembrou que não é novidade a aplicação de uma segunda prova do Enem.
Todos os anos, a organização do exame produz duas provas, de igual nível de dificuldade, caso haja necessidade de aplicar uma segunda bateria de avaliações em grupos que, por força maior, como problemas da natureza ou falha humana, não puderam realizar o teste. “O ano passado, por exemplo, houve uma inundação em duas cidades do Espírito Santo. Os alunos ficaram absolutamente impossibilitados de fazer a prova. E, um mês depois, nós reaplicamos o Enem, nessas duas cidades, para todos os estudantes prejudicados”, contou Haddad.
O ministro destacou que a liminar apresentada pela Juíza da 7º Vara Federal do Ceará, Karla de Almeida Miranda Maia, que suspende o Enem em todo o país, será facilmente caçada baseando-se no argumento da Teoria da Resposta ao Item (TRI).
Desenvolvida nos Estados Unidos, na década de 60, a TRI é um sistema que ajuda a formar um banco de questões (itens) de diferentes níveis de dificuldade. A partir desse banco, tem-se um número de questões para formular provas distintas, mas com mesmo valor de comparação. Portanto, nele é possível realizar mais de uma prova por ano em diferentes grupos, produzindo o mesmo resultado de avaliações.
O SAT [Scholastic Assessment Test] americano, por exemplo, conta atualmente com mais de 140 mil itens no seu banco de dados. Suas provas são aplicadas sete vezes ao ano.

Luis Nassif – E a questão da Juíza do Ceará?
Fernando Haddad – A Juíza, como uma boa parte dos juristas, está conhecendo pela primeira vez a chamada Teoria da Resposta ao Item. O que vem a ser essa teoria que tem mais de cinqüenta anos nos Estados Unidos? Você já deve ter ouvido falar do SAT americano [SAT Reasoning Test], que é aplicado sete vezes ao ano. O TOEFL [Test of English as a Foreign Language] também um exame americano muito conhecido. Você agenda a aplicação do TOEFL, e ninguém faz a mesma prova no TOEFL, embora saia com um boletim com um score comparável a qualquer pessoa. Ou seja você faz provas diferentes, mas o seu score é comparável com qualquer outro score de outro boletim.
Essa tecnologia educacional foi desenvolvida nos anos 60, chama Teoria de Resposta ao Item, e o Brasil importou essa tecnologia em 1995 e toda a avaliação educacional no Brasil é baseada nela. Ou seja, admite a comparação no tempo de provas diversas.

LN – Agora, ministro, se tem essa possibilidade, qual é a sua avaliação entre a alternativa de um exame único, ou vários exames distribuídos ao longo do ano?
FH – O ideal é, a partir do momento que o INEP tiver um banco de itens robustos… Porque, o que essa tecnologia exige? Exige que toda a questão de prova seja pré-testada pra que seja atribuída a ela um coeficiente de dificuldade. Eu tenho que pré-testar a questão em ambiente seguro, reservado, para eventualmente utilizar essa questão numa prova. Então isso exige um banco de itens, porque esse banco de itens pré-testados é que garante a comparatividade. Eu consigo compor uma prova com 180 questões com o mesmo nível de dificuldade.
No ano passado, por exemplo, a imprensa não noticiou, e nós pensamos que esse debate fosse acontecer em 2009. Porque em 2009 ocorreu, não uma falha humana, mas um evento da natureza. Houve uma inundação em duas cidades do Espírito Santo. Os alunos ficaram absolutamente impossibilitados de fazer a prova. E, um mês depois, nós reaplicamos o Enem, nessas duas cidades, para todos os estudantes que tiveram o seu bol
etim divulgado na mesma data dos que fizeram a primeira edição. Ou seja, tecnicamente falando, não há nenhum problema em você, pela TRI, Teoria de Respostas ao Item, você aplicar provas diversas pra grupos diversos que sejam comparáveis entre si.

LN – Essa decisão da Juíza pode atrapalhar em quanto?
FH – Até o momento, em nada. Porque o próximo evento do Enem é a divulgação dos resultados. Portanto nós temos, nesse momento, e durante os próximos dias, de domingo até terça, da semana que vem, os correios estão retornando os cartões de repostas para as centrais de digitalização desse material. Portanto, nesse momento não está ocorrendo nada. Os cartões de resposta estão em transito. Não há o que ser feito a respeito deles.

LN – Então dá tempo para, eventualmente, recorrer sem prejudicar a divulgação?
FH – Totalmente. Nós vamos entrar com recursos. E temos muita segurança em caçar essa liminar, justamente apresentando ao desembargador esse argumento, de que não se sustenta a ideia de quebra de isonomia pelo fato de ser uma prova diferente. Porque, se não fosse assim, o Enem do ano passado já não poderia ter sido realizado, porque teve que ter uma segunda edição. E terá, esse ano, por exemplo, antes de incidente, já tava prevista a edição dos presídios, que a Polícia Federal recomendou que fosse feito em dia diferente da prova geral, por uma questão de segurança.
Então, não é nenhuma novidade uma segunda prova. Já tava previsto no primeiro edital. O que nós vamos fazer, quando chegar ao Judiciário, é a informação de que o Enem é assim. E não pode ser de outro jeito, Nassif. Um exame com essa escala, ou é comparável no tempo, ou é impossível, tecnicamente. Porque, por força maior, caso fortuito, falha humana, você pode ter um problema.

Vou te citar um outro incidente que ocorreu, e não gerou nenhuma conseqüência. Um determinado caminhão levando provas, lá em Santa Catarina, caiu numa vala. E o baú caiu numa posição que impedia sua abertura. Se não fosse a presença de um guincho junto ao local, teria sido impossível para a escolta da Polícia Rodoviária, recorrer os malotes e levar para o local de prova. E aí, você cancela a prova inteira porque cinqüenta alunos não fizeram? O que quero dizer é que não se compara o Enem com uma prova clássica, que ou todo mundo faz ao mesma, ou ele é anulado. A vantagem do Enem é que ele não precisa ser assim.
Vou citar um terceiro exemplo muito importante. Você tem essa discussão sobre o pagamento de bônus em São Paulo para professores por desempenho dos alunos, não tem? Esse pagamento do salário de professores, de bônus, só faz sentido se você comparar uma prova com outra e verificar que o aluno aprendeu mais na segunda prova do que na primeira. Quer dizer, não há como você aferir o aumento de proficiência, se as provas não forem calibradas e comparadas entre si. Não adianta dizer “essa prova é mais difícil que aquela”. Você tem que dizer o quanto ela é mais difícil que aquela. O que significa dizer que os itens têm que ser pré-estados pra que você calibre os itens antes da aplicação.
Com informações do site da Carta Capital