A capacidade de elaborar e aplicar instrumentos dentro do que se denomina “avaliação autêntica” foi desenvolvida pelos docentes desse centro ao longo de muitos anos, sendo todos eles especialistas na língua específica com a qual trabalham e sobre a qual realizam suas pesquisas. Argumentamos nesta matéria dois pontos principais. Primeiro, que assim como outros processos educacionais, os de avaliação e de certificação estão passando pela mesma transformação digital que permeia todos os aspectos da sociedade contemporânea. Para manter a relevância, legitimidade e validade dos processos de avaliação, a USP e órgãos como o Centro de Línguas devem continuamente investigar e desenvolver diferentes e novas modalidades. Nesse sentido, neste momento, os coordenadores das áreas linguísticas do CIL-FFLCH/USP se debruçam na resolução de questões técnicas sem perder de vista a dimensão educacional, constitutiva de um processo de avaliação. O segundo ponto que destacamos é que a capacidade de desenhar e operacionalizar as etapas envolvidas em avaliação é uma função essencial, quase definidora de uma universidade. Esta capacidade não deve ser terceirizada, mas sim desenvolvida, com equipes multidisciplinares, levando em conta os valores disciplinares e educacionais de uma instituição de educação pública. Uma das funções do Centro Interdepartamental de Línguas é prestar esse serviço aos programas de pós-graduação de nossa universidade – tal como vem fazendo pela parceria consolidada com eles ao longo de anos – e essa prestação, como deve ser, está organicamente associada ao tripé ensino-pesquisa-extensão.
Avaliar a competência linguístico-discursiva na leitura de textos acadêmicos é parte de um processo educacional. No meio digital e on-line, assim como no plano do ensino-aprendizagem ou da avaliação em geral, há uma intensa pressão para conceber instrumentos avaliativos. Para o Centro Interdepartamental de Línguas há vantagens claras na aplicação de provas on-line, pois, entre outros motivos, permite que candidatos que não moram na cidade de São Paulo possam participar da primeira etapa da seleção para pós-graduação sem arcar com os ônus de eventuais deslocamentos. Essa observação deixa entrever, claramente, que se trata de um movimento de inclusão. No entanto, para além das vantagens, é preciso se deter em analisar os riscos.
Sem um processo de análise cuidadosa e deliberada, a transformação para processos de avaliação on-line traz ameaças à validade e integridade da avaliação. Vivemos em um mundo em que todos têm acesso a sistemas de IA generativa como ChatGPT, com competência linguística num sentido restrito, mas que produzem textos difíceis de distinguir de um que tenha sido elaborado por humanos. Google Lens é um App que consegue transcrever e traduzir uma grande variedade de imagens textuais. Plágio ou a encomenda de textos a terceiros são práticas com as quais os sistemas educacionais já lidam faz muito tempo.
Uma maneira tentadora, mas equivocada, de lidar com a complexidade da transformação digital é delegar tarefas a terceiros. A competência técnica em processos digitais costuma ser delegada a outros, vistos como fortes referências, fora do âmbito universitário, para serem contratadas. Nesse raciocínio, a universidade abriga sobretudo acadêmicos, que podem se concentrar na parte mais disciplinar, enquanto os serviços técnicos podem ser oferecidos por esses outros, inclusive com ganho de eficiência, oferecendo estes serviços em escala e de forma padronizada. Não compartilhamos essa visão, que consideramos superficial e eficientista. Acreditamos que para inovar na área educacional, respeitando os valores da universidade pública, é preciso integrar a tradição e a solidez dadas por uma pesquisa acadêmica, pela prática profissional e pela competência técnica e tecnológica dentro de uma única equipe multidisciplinar.
Para ir além do senso comum, objetivo que permanentemente está ou deve estar no horizonte do trabalho de uma universidade pública, é preciso analisar os conceitos mais sistematicamente. Um processo de avaliação válido requer a integração de três competências distintas. Primeiro, a competência disciplinar, que, no caso do Centro de Línguas, é a expertise linguístico-discursiva. Segundo, a competência técnica em avaliação: adequar a dificuldade e poder de discriminação das tarefas ao público-alvo, cuidar da segurança e acessibilidade da prova e reportar os resultados de forma adequada – dentre outros. Terceiro, a competência administrativa e operacional. Todo esse processo deve estar integrado aos sistemas e infraestrutura da instituição certificadora.
Na nossa visão, não é possível fazer com qualidade a realização digital de avaliações, sempre no contexto de processos educacionais, sem a articulação dessas três competências. Inovação, entendida como a materialização da potencialidade trazida pelas tecnologias digitais, requer uma troca de ideias constante entre vários especialistas, cada um com seu conhecimento local, situado e incluído numa tradição histórica.
Há grandes riscos em acreditar no “solucionismo técnico”, isto é, em adotar soluções técnicas para problemas que, na verdade, exigem uma resposta flexível às mudanças do atual cenário. Por isso, é preciso reconhecer que não existe uma ferramenta antifraude perfeita, assim como não é possível admitir a mera transposição de práticas desenvolvidas para o ambiente presencial ao ambiente on-line. Por exemplo, o uso de IA que analisa a imagem da webcam ou outros indicadores biométricos durante uma prova tradicional, além de não resolver o problema de segurança, é eticamente questionável pelo potencial de viés e eficácia diferenciada desses algoritmos para diversos grupos de candidatos.
Em vez de forçar práticas antigas em ambientes on-line, uma atitude mais sustentável e em consonância com nossa excelência acadêmica é analisar como adaptar nossas práticas para aproveitar as potencialidades do ambiente on-line, sem perder de vista nossos valores fundamentais. Assim, ao invés de tentar impedir artificialmente o uso de recursos durante a prova, seria melhor repensar a concepção da prova para que esta reflita de forma autêntica o futuro ambiente de estudo e pesquisa ou de trabalho.
O Centro Interdepartamental de Línguas da FFLCH/USP está bem posicionado para enfrentar essa tarefa. Além de ter longa tradição em avaliação de competências linguístico-discursivas, mantém estreita relação com os programas de pós-graduação da USP. Durante o período da pandemia, o centro desenvolveu um protocolo de aplicação de provas on-line, usando a plataforma de cursos on-line Moodle Extensão, um sistema mantido, na infraestrutura da própria USP, pela STI e a PRCEU. Acreditamos que, com o devido apoio institucional, o Centro Interdepartamental de Línguas dará continuidade ao desenvolvimento de práticas inovadoras que atenderão às demandas dos programas de pós-graduação, avaliando candidatos por sua competência autêntica e contextualizada, respondendo à importância dessa etapa dentro dos respectivos processos seletivos.
________________
(As opiniões expressas nos artigos publicados no Jornal da USP são de inteira responsabilidade de seus autores e não refletem opiniões do veículo nem posições institucionais da Universidade de São Paulo. Acesse aqui nossos parâmetros editoriais para artigos de opinião.)
