Avaliações on-line em tempos de quarentena e distanciamento social

Prof. Antonio Seabra – Foto: Reprodução / Laboratório de Sistemas Integráveis (LSI)

Gostaria de contribuir com a discussão do tema apresentado no artigo “Vulnerabilidades debilitantes das ferramentas para avaliações on-line da USP” publicado na edição de 6/7/2020 do Jornal da USP. Utilizo intensamente ferramentas de avaliação on-line, acompanho seu uso por colegas do Brasil e do exterior e tenho me dedicado ao estudo do processo de ensino-aprendizagem em nível universitário aplicado à educação em engenharia.

A quarentena e o distanciamento social nos fizeram refletir sobre as práticas de ensino, aprendizagem e avaliação que adotamos. Será que elas se aplicam ao momento que vivemos? Será que podemos fazer melhor? Será que estávamos fazendo o melhor?

Vivemos uma situação de exceção nos mais variados níveis, seja de conforto, de saúde, de convívio social, de acesso a bens e serviços, de ferramentas físicas e virtuais, de interconectividade e assim por diante. Vale nos perguntarmos, no âmbito da educação universitária, o que de fato estamos avaliando neste momento.

Quando um estudante pode participar de uma aula em um ambiente preparado para tal, como é o caso de nossa Universidade, fatores exógenos passam a ser menos relevantes para o seu aprendizado. Mesmo quando alguém da família está doente, a oportunidade de estar em qualquer um dos campi da USP, cercado de colegas e professores discutindo temas de interesse, ou mesmo descansando em um gramado, renova o ânimo, dá uma pausa nas preocupações, permite focar nos objetos de estudo e no aprendizado.

Isso também permeia os momentos de provas. A tranquilidade para estudar e aprender proporcionada por esse ambiente faz o momento da prova ser menos estressante e o desempenho ser mais representativo. Adicionalmente, fazer uma prova nas salas da Universidade proporciona a todas as pessoas condições minimamente equitativas para realizá-la: sem barulho, material adequado disponível na forma impressa ou bancada prática completa, acesso instantâneo para tirar dúvidas, internet confiável, etc.

Mas, neste momento em que vivemos, o que de fato estamos avaliando? Estamos avaliando em parte o conhecimento sobre o tema, mas estamos avaliando também as condições que o estudante teve para estudar e aprender e as condições que ele tem para fazer a prova.

Não é por outra razão que instituições como o MIT, mesmo não vivenciando a desigualdade social que nos aflige, em seu Emergency Academic Regulations de março de 2020 reforça a preocupação que “diferentes estudantes terão experiências distintas em suas casas e para alguns deles focar no estudo vai ser realmente desafiador. Isto sem contar o stress e a ansiedade causados pela covid-19 a todos nós, sejamos estudantes, seus familiares ou professores”. Assim, essa preocupação vai muito além do oferecimento de equipamentos aos estudantes, algo que a USP fez ao disponibilizar kits internet para uso em casa e as unidades fizeram ao realizar o empréstimo de computadores.

Assim, devemos nos perguntar primeiramente o que estamos avaliando, antes de nos preocuparmos com mecanismos para coibir fraudes. Neste período, tanto uma avaliação remota quanto uma avaliação presencial podem ser muito injustas.

Tenho acompanhado as medidas adotadas por universidades estadunidenses de renome, como a Universidade da Califórnia em Berkeley, a Universidade de Harvard e o MIT. Neste período de quarentena e isolamento social, elas têm adotado sistemas de avaliação alternativos baseados no modelo Passou/Não Registrar (P/NR – Pass/No Record) onde estudantes que passaram recebem simplesmente um “passou” e, se não passaram, nada é registrado no histórico escolar. A USP adotou em parte essa medida ao estender o período para trancamento parcial por disciplina e o trancamento total do semestre, embora tenhamos mantido o sistema de notas tradicional. Diante da situação em que nos encontramos, estudantes esforçados e com excelente desempenho acadêmico podem tirar tanto um 3,0 como um 7,0, pois a avaliação não é apenas um indicador de desempenho acadêmico, mas também um indicador das dificuldades exógenas que estão enfrentando. Podemos até estender esta reflexão para outros períodos com características similares, como o semestre de ingresso dos estudantes em nossa universidade, e nos perguntarmos se neste caso não seria adequada uma política similar ao Passou/Não Registrar.

Universidades de ponta também estão adotando como política básica que os exames finais devem ser minimizados, colocando muito mais peso nas avaliações continuadas, tudo de forma remota. E são universidades de excelência como a USP, escolas presenciais atuando temporariamente de forma remota, escolas fundamentadas no princípio da convivência e do viver juntos. Nenhuma delas se trata de instituição com certos ranços ideológicos e traços do pensamento “politicamente correto”.

Mas podemos nos perguntar se, imaginando que não haja desigualdades nas condições de aprendizagem, provas presenciais são melhores que provas remotas neste momento. Podemos alegar que provas presenciais são menos sujeitas a fraudes e, portanto, são melhores nesse sentido. Na verdade provas são concebidas em função do ambiente de aprendizagem e não o contrário. Provas remotas, concebidas para o ambiente remoto, são tão boas quanto provas presenciais concebidas para o ambiente presencial. A preocupação exacerbada com fraudes nas avaliações, além de distorcer o sentido do processo de aprendizagem e de avaliação, toma como premissa a desonestidade do estudante. Novamente, escolas como o MIT, quando estão aplicando exames finais, o estão aplicando na forma remota, incluindo a seguinte observação aos seus professores: “Devemos ter altas expectativas quanto à integridade de nossos estudantes e confiar neles, ao invés de implicitamente induzi-los a maus comportamentos”. E mais: “Professores devem assumir que os estudantes farão o exame da mesma maneira, ou seja, manterão sua integridade acadêmica”. A preocupação em reforçar a ética acadêmica ao invés de reforçar a punição, que induz implicitamente a maus comportamentos, tem que ser um compromisso incessante, demonstrado nas mínimas ações. Como aprendi com o professor Raul Lima, presidente da Comissão de Ética da Escola Politécnica, fora do espaço da liberdade e da confiança, a ética não floresce.

Mas vamos ao extremo, digamos que de fato a prova presencial seja a única opção. Será que como instituição devemos apostar na prova presencial como meio de avaliação neste momento na Universidade?
Tudo indica que vamos manter condições de distanciamento social até a existência de uma vacina e a imunização em massa, possivelmente daqui a um ano e certamente não neste semestre. Durante esse período temos que zelar prioritariamente e acima de tudo pela saúde de todos os integrantes de nossa comunidade. Quantas salas de aula em nossa universidade têm condições de utilização nessa situação, tendo como primeira norma a ventilação natural? Na Escola Politécnica, alguns prédios simplesmente não têm salas de aula que atendam a esse requisito. Fizemos uma análise e estimamos que a Escola Politécnica pode atender ao mesmo tempo cerca de 15% do contingente de estudantes de graduação. Quando tivermos a oportunidade de utilizá-las, vamos aplicar provas ou dar prioridade à aprendizagem? Vamos mobilizar aproximadamente 7 vezes mais docentes para fiscalizar cada uma das provas? Ou seja, com uma turma de 870 estudantes que ingressam por ano na Escola Politécnica vamos precisar de mais de 50 docentes fiscalizando cada prova, mesmo utilizando anfiteatros? Que professores serão mobilizados, se uma parcela significativa é grupo de risco? Assim, considerando a máxima que prova presencial é a única possibilidade, e portanto deve ser aplicada a todas as disciplinas, ficamos sem saída. Não é uma estratégia institucionalmente razoável. Considero que avaliações presenciais entram na categoria de atividades que não podem ser realizadas enquanto houver o distanciamento social. Temos que buscar outras alternativas.

Mas será que a premissa de que a prova remota, com as ferramentas que temos disponíveis, são tão suscetíveis assim a fraudes? Por simplicidade vamos imaginar a aplicação de provas remotas síncronas, com duração bem estabelecida. O ambiente remoto que a USP criou, o e-Disciplinas, tem alternativas muito interessantes e que estão à nossa disposição. Vamos considerar um caso emblemático para escolas da área de ciências exatas, a realização de provas com questões numéricas. Pensando em uma turma de 870 estudantes, pode-se por exemplo criar um banco de 100 modelos de questões, dentre as quais cada estudante deve resolver 5 questões. Cada modelo de questão pode automaticamente atribuir valores numéricos distintos a cada estudante. Mais ainda, a ordem das questões para cada estudante pode ser aleatória. E cada estudante pode ver apenas uma questão por vez. Quando bem dimensionado, este processo evita fraudes, pois não há tempo hábil para tal. Embora não estejamos aqui analisando o trabalho que isso possa representar para os professores, e sim se evita fraude ou não, esse trabalho de criação de provas não cresce exponencialmente para os professores, em verdade é otimizado quando se tem grandes turmas. E isso não é razão para desqualificar nenhum modo de avaliação.

Podemos buscar ainda outras alternativas. Podemos propor avaliações continuadas. O e-Disciplinas possui recursos para automatizar e disponibilizar avaliações continuadas. Toda aula pode ter uma avaliação de 10 minutos com alternativas embaralhadas e banco de questões. Podemos ir ainda além. Esse tipo de avaliação, se feita de forma eletrônica, permite que a avaliação também seja formativa. Ela passa a ser formativa, reforçando o aprendizado, se logo após o teste, durante a aula, o professor compartilhar o índice de acertos e erros e as respostas corretas. Se o índice de acerto for muito baixo em uma questão, o professor pode reforçar aquele conceito durante a própria aula. Esta é a solução preconizada por exemplo pelo MIT, que recomenda durante este período não aplicar exames finais e reforçar a importância das avaliações formativas, tudo de forma remota.

As possibilidades de trancamento parcial ou total, a inadequação temporária das avaliações como instrumentos que indiquem apenas o desempenho acadêmico também trazem preocupações de outra magnitude. A Escola Politécnica oferece a oportunidade de troca de carreira a partir do final do primeiro ano e, como outras unidades, oferece também oportunidades de intercâmbio internacional, realizando essas seleções por meio do desempenho acadêmico. Como levar em conta as atribuições de nota realizadas durante o período de quarentena e de isolamento social é algo que deve ser discutido no âmbito das Comissões de Graduação, das Comissões de Relações Internacionais e das Diretorias das unidades. No caso da Escola Politécnica certamente os critérios de seleção levarão em consideração as questões aqui levantadas.

Por fim, há também a preocupação com o prejuízo na qualidade para fins de registro profissional. O impacto deste ano será tão devastador ao ponto de anular todo o processo de aprendizagem de 4-5-6 anos a que o estudante se submete, sem considerar sua capacidade de recuperação ou de consolidação do tema em momentos posteriores dentro da própria Universidade? Será que ele não pode ser um profissional com direito ao registro profissional mesmo se tenha dado provas de conhecimento adequado em outras disciplinas da área, como se observa quando já passou de cálculo 2, 3, 4 e não de cálculo 1? Em especial, do ponto de vista de registro profissional, os cursos da Escola Politécnica têm ao menos um semestre a mais de carga do que o necessário para a certificação. Muitos cursos têm dois semestres a mais. O aprendizado de um estudante da USP não tem a sua qualidade abalada no mercado profissional por turbulências momentâneas que ocorrem em escala global. As escolas aqui citadas recomendam que estudantes que queiram mostrar desempenho destacado neste período busquem cartas de recomendação de seus professores. Essas cartas, em um momento tão singular, podem fazer referência à dedicação, à superação das dificuldades e até ao comprometimento em colaborar com outros colegas no aprendizado da disciplina.

Existem várias disciplinas que já empregaram os métodos aqui apresentados durante este período e podem dar seu testemunho. Algumas, inicialmente, tiveram dificuldades, mas se ajustaram. Outras adotaram até alternativas surpreendentes, como provas orais para turmas com 240 estudantes (e 4 professores). Mesmo disciplinas práticas fizeram coisas incríveis, praticando Engenharia em Casa. Mas o que chama mais a atenção são nossos colegas que, trabalhando juntos, dizem que este foi o semestre em que seus estudantes mais aprenderam e que eles receberam mais elogios.

Em resumo:

Os mecanismos de avaliação remota da USP não são frágeis, eles precisam ser conhecidos e ajustados a cada realidade, não existe uma solução única para todos os casos.
Avaliações presenciais não são uma forma de avaliação adequada para este período, na verdade entram na categoria de atividades que não podem ser realizadas enquanto houver distanciamento social.
Avaliações continuadas e formativas são mais adequadas que avaliações finais neste período de quarentena e distanciamento social.
Não incorremos em improbidade quando confiamos na integridade de nossos estudantes. Pelo contrário, reforçamos a importância da ética enquanto bem comum.
Não prejudicamos os estudantes em seus processos seletivos internos pois estes devem ser ajustados para um período de exceção.
Não prejudicamos os estudantes porque as avaliações são remotas, os prejudicamos se a oportunidade de aprendizado não for adequada.

O que fica de mensagem neste momento é que a credibilidade e seriedade de uma instituição de ensino são demonstradas quando ela trata um período de exceção como um período de exceção. Isso é ser responsável. Esse período exige novas alternativas de convívio, exige novas alternativas de ensino. E exige também novas alternativas de avaliação.

Leituras e vídeos recomendados, todos acessados em 2/8/2020: