Blog
Na área de educação em ciências, inteligência artificial tem sido usada sem referencial ético
Repetição de linguagem acrítica, apagamento da origem das ideias, reforço de vieses, preconceito e desigualdade são alguns riscos potenciais, indicam pesquisadores
Na área de educação em ciências, Inteligência Artificial tem sido usada sem referencial ético
Repetição de linguagem acrítica, apagamento da origem das ideias, reforço de vieses, preconceito e desigualdade são alguns riscos potenciais, indicam pesquisadores
Entre os riscos do uso de IA na ciência são apontados da Segurança dos dados dos usuários a problemas com plágio – Foto: Freepik
Inseridas em lógicas de concentração de poder, extração massiva de dados e consumo intensivo de energia, tecnologias como a Inteligência Artificial Generativa (IAGen) refletem e reforçam desigualdades estruturais. É o que apontam os docentes Nathália Azevedo, do Instituto de Biociências (IB) da USP, e Paulo Santos, da Universidade de Brasília (UnB), em um editorial publicado na revista Ensaio Pesquisa em Educação em Ciências.
Para discutir o uso da IAGen na criação de conteúdos acadêmicos sintéticos, a dupla optou por apresentar a jornada de aprendizagem do corpo editorial da revista sobre a Inteligência Artificial Generativa e chamar a comunidade científica para um diálogo crítico. “Almejamos evitar que o uso desenfreado da IAGen sem respeito aos direitos autorais e repleto de violações éticas em sua dinâmica de produção passe a enviesar, de forma automática e irrefletida, nossas práticas de pesquisa e educação”, afirmam no texto.
Sem negar ou recriminar o uso da ferramenta, Nathália define o trabalho como “mais um convite ao debate para pensar quais são as contribuições reais da sua incorporação para produção escrita e para dimensão analítica”. Para eles, como para outros autores, as tecnologias estão em disputa na sociedade na justificativa pela qual existem, em seu processo de produção, nos interesses envolvidos, em seu uso e eficiência. Desse modo, a bióloga reivindica uma justificativa plausível dentro de limites éticos para seu uso na produção científica
“As perguntas talvez sejam: como a gente quer que essa IA seja usada? E com que limites? O que é ético? E a serviço de quem?” – Nathália Azevedo
Apesar do uso ter se tornado comum nos últimos anos, os pesquisadores afirmam que os benefícios não são evidentes nas pesquisas científicas sobre educação em ciência. Pelo contrário: há riscos envolvendo desde violações de direitos autorais – como o plágio – até a falta de qualidade e de veracidade das informações geradas, além da sobrecarga nos processos de avaliação e publicação comprometidos com a qualidade científica das produções submetidas.
Os pesquisadores, que trabalham também como pareceristas e editores de revistas científicas, indicam um aumento de submissões de artigos com indícios do uso indiscriminado da ferramenta, como linguagem automatizada e informações incorretas.
Neoliberalismo, qualidade e revisão
Como cientistas e doutores em Educação, Nathália Azevedo e Paulo Santos afirmam que a utilidade de uma IAGen é “fabricada”. A promoção deste tipo de tecnologia se dá como solução para uma sociedade moderna saturada de distrações e carente de referências.
No caso da reprodutibilidade de obras de arte geradas por IA, por exemplo, levanta questões filosóficas, ecoando as ideias do pensador Walter Benjamin – filósofo alemão do século 20 associado à Escola de Frankfurt e à Teoria Crítica. Para o pensador, a cópia em massa de uma obra de arte resulta na perda de sua “aura” — o valor único e quase sagrado que a obra original possui.
Esse debate se aplica diretamente ao modo como as IAs podem tensionar ou não estruturas de saber e lógicas neoliberais de produtividade, devido à sua influência potencial sobre a carga de trabalho, a capacidade criativa e os momentos favoráveis à criação.
Nessa competição, os pesquisadores destacam uma ambiguidade fundamental no desenvolvimento da IA: tanto pode ser utilizada em resposta às forças dominantes, atendendo a anseios lucrativos de investidores, quanto apropriadas de forma contra-hegemônica pelas classes populares, pelos potenciais impactos em demandas sociais, como a redução da jornada de trabalho.
Nathália Azevedo ressalta que a tecnologia tem um papel central no domínio político e no modelo de produção.
“Na valorização da produtividade e da eficiência, a IA generativa é apresentada como uma ferramenta para acelerar o processo científico, o que pode levar a uma redução da análise crítica.”
Um exemplo disso é o uso de prompts [solicitações à IA] escondidos em textos científicos para influenciar a aprovação da revisão por pares automatizada.
Esses casos levantam questões sobre a integridade e a validade dos processos editoriais. Apesar de não apoiarem o uso para escrita ou revisão, os pesquisadores não recriminam o uso em um panorama geral. O título do editorial, Primazia da dimensão utilitária e recuo crítico: inteligência artificial generativa e os valores em disputa na ciência, visa a provocar um debate sobre o ritmo da produção científica com o uso da ferramenta e se ele faz sentido, convidando as pessoas a refletirem sobre o papéis de cada parte: cientistas e empresas. Também busca reforçar o espaço da produção científica como território de responsabilidade coletiva.
“Somos trabalhadores da ciência e nosso trabalho é não é neutro nem centrado no indivíduo. Ela [a ciência] está inserida em um contexto ético sócio-político-ambiental. É necessário superar a visão de ciência como atividade isolada e reconhecer que ela responde a problemas públicos, tanto práticos quanto críticos e teóricos”, detalha Paulo Santos, professor em ensino de ciências.
A dimensão analítica e crítica é o diferencial da inteligência humana ressaltado pelos pesquisadores, por considerarem essas tecnologias “papagaios estocásticos”, ou seja, reprodutores de um conteúdo produzido de forma aleatória ou probabilística, sem uma compreensão profunda do significado.
Monocultura do conhecimento
O Plano Brasileiro de Inteligência Artificial do Ministério da Ciência, Tecnologia e Inovação (MCTI) propõe que a gestão básica de docentes, discentes e o apoio na avaliação das atividades dos estudantes sejam feitos com auxílio dessas tecnologias. Nathália e Santos encaram a proposta com receio, e indicam um preterimento no desenvolvimento de outras tecnologias promissoras para a educação, como realidade virtual ou realidade aumentada. A dupla vê a importância de reconhecer a “atmosfera de fatalismo, como se todas as dimensões estivessem dadas e restasse apenas encontrar a melhor forma de usá-las”. “Nenhuma tecnologia está dada de forma definitiva”, ressalta Santos.
Exposição de dados sensíveis, mecanização do trabalho, sobrecarga e superexploração do trabalho docente e saída “tecnocrática” para problemas profundos são algumas das diversas contradições que o plano do Ministério apresenta, segundo os pesquisadores.
Eles chamam atenção para o conceito de “monocultura do conhecimento”: a reprodução e disseminação de teorias e ideias dominantes, muitas vezes em detrimento de perspectivas críticas e diversificadas. Ou seja, há uma perda de criatividade e inovação pelos limites dos horizontes científicos e abordagens.
“No contexto da educação, por exemplo, a monocultura do conhecimento pode reproduzir teorias e métodos tradicionais, o que limita a inovação, a diversidade de perspectivas e reproduz desigualdades e injustiças sociais“ – Paulo Santos
No conceito de monocultura do conhecimento, a questão das fontes utilizadas para treinar os modelos de IA é relevante, pois pode refletir essa lógica e excluir perspectivas importantes do contexto latino-americano ou do Sul Global. Os cientistas também apontam para os riscos de descumprimento de normas jurídicas e/ou institucionais com violação de direitos individuais e coletivos – especialmente em consideração à Lei Geral de Proteção de Dados brasileira. Essa violação pode ser observada com a retenção de conversas antigas, trabalhos e outras informações sensíveis para treinar essas tecnologias.
Destacam também a sobreposição de práticas em relação às orientações dos comitês de ética em pesquisa em suas diferentes instâncias. Como o caso do uso de prompts escondidos em artigos para passar nos pareceres por IA, as práticas podem ferir valores inegociáveis da ciência, conforme Santos. “A integridade, a credibilidade e a função social da prática científica deve ser guiada por um comprometimento ético para garantir que a ciência sirva ao bem comum e ao avanço do conhecimento. Esses princípios são fundamentais e não devem ser influenciados por interesses particulares ou distorções ideológicas”, conclui.
Por esses riscos e valores todos, a questão fundamental deles é: faz sentido treinar os alunos para substituir o próprio esforço e desenvolvimento intelectual nesse contexto?
O editorial Primazia da dimensão utilitária e recuo crítico: inteligência artificial generativa e os valores em disputa na ciência pode ser acessado clicando aqui.
Para mais informações: nhazevedo@ib.usp.br, com Nathalia Azevedo, ou paulosantos@unb.br, com Paulo Santos.
*Estagiário sob orientação de Tabita Said
**Estagiária sob orientação de Moisés Dorado
Política de uso
A reprodução de matérias e fotografias é livre mediante a citação do Jornal da USP e do autor. No caso dos arquivos de áudio, deverão constar dos créditos a Rádio USP e, em sendo explicitados, os autores. Para uso de arquivos de vídeo, esses créditos deverão mencionar a TV USP e, caso estejam explicitados, os autores. Fotos devem ser creditadas como USP Imagens e o nome do fotógrafo.
A reprodução de matérias e fotografias é livre mediante a citação do Jornal da USP e do autor. No caso dos arquivos de áudio, deverão constar dos créditos a Rádio USP e, em sendo explicitados, os autores. Para uso de arquivos de vídeo, esses créditos deverão mencionar a TV USP e, caso estejam explicitados, os autores. Fotos devem ser creditadas como USP Imagens e o nome do fotógrafo.