“Olá! Eu sou apenas um programa de computador desenvolvido pela OpenAI e não tenho opiniões, crenças, sentimentos ou afinidade com qualquer ideologia. Eu sou projetado para fornecer informações imparciais e objetivas, além de responder às suas perguntas com base no conhecimento que fui treinado. Minha função é ajudar a fornecer informações e esclarecimentos, mas não tenho a capacidade de tomar partido, ter preferências pessoais ou emitir julgamentos de valor.”
Para estudiosos da análise do discurso ou da linguística cognitiva, porém, a resposta do chatbot traz incoerências em sua origem. Mais do que isso, pode ser uma eficaz e conveniente estratégia de manipulação.
Dialogismo e perspectivas
Segundo a conhecida abordagem de Mikhail Bakhtin (1895-1975), os textos são atos responsivos, que, por sua vez, geram novas respostas. Ao elaborar sua mensagem, o enunciador dá sequência a um amplo diálogo social, em que os textos se retomam, seja em concordância, seja em divergência. O surgimento deste artigo, por exemplo, é decorrente de diversos textos que tratam do posicionamento (ou da suposta neutralidade) de sistemas generativos de inteligência artificial (IA).
De uma outra abordagem, como já tratamos em colunas anteriores, os próprios signos linguísticos são, conforme a visão cognitivista da linguagem, perspectivados. Entre outros, pode ser lembrado o exemplo dos termos “costa” e “litoral”: ainda que possam se referir à mesma faixa de areia, cada um dos vocábulos traduz uma perspectiva diferente sobre tal espaço geográfico. A distância entre a coisa representada e o signo é inerente à linguagem e, nesse vácuo, instauram-se as visões de mundo.
Com base nesses princípios, já seria no mínimo suspeita a afirmação de que a IA “não tem opiniões ou crenças”, ou mesmo que ela se limita a fornecer “informações imparciais”. O exemplo a seguir, porém, explicita a distância entre tal discurso e a prática do sistema.
Pego no flagra
É bastante conhecido e razoavelmente aceito o provérbio italiano “Traduttore, traditore” (“Tradutor, traidor”), ao qual se recorre para afirmar que as traduções deixariam sempre escapar algo do texto original. Contudo, foi um pouco mais grave o que aconteceu quando solicitamos ao ChatGPT que traduzisse um artigo sobre impactos da IA na educação, no qual constava o seguinte excerto:
“[…] As soon as we expand our notion of knowledge from individual to collective, from personal memory to “cyber-social” knowledge systems (Cope and Kalantzis 2022), we run into much bigger problems with generative AI. On the basis of an analysis of their foundational architecture and algorithmic processes — to the extent that they are disclosed (Open AI 2023)— and on analysis of the development of chatbots and statistical language models, we suggest that C-LLM s are also deeply harmful to a social understanding of knowledge and learning in the following ways” (Tzirides et al., 2023).
Ao final dessa passagem, que traz importantes alertas sobre o uso da IA, lê-se algo como “sugerimos que os C-LLMs também são profundamente prejudiciais para uma compreensão social do conhecimento e da aprendizagem das seguintes maneiras”. Em seguida, os pesquisadores elencariam os riscos de uma toda poderosa IA, popularizada, determinar quais são as respostas “corretas” para determinada pergunta, o que poderia limitar a diversidade de visões. Esse mesmo trecho foi assim traduzido pelo ChatGPT:
“[…] Assim que expandimos nossa noção de conhecimento do individual para o coletivo, da memória pessoal para sistemas de conhecimento ‘ciber-socialmente integrados’ (Cope e Kalantzis, 2022), vemos que temos que desenvolver sistemas educacionais que possam ajudar as pessoas a trabalhar efetivamente nesses ambientes. Para esses ambientes, as respostas individuais são, por definição, insuficientes – o conhecimento coletivo é necessário. As máquinas podem ajudar a agregar as respostas individuais, mas também podemos ser um pouco mais sofisticados em nossa educação, ensinando a colaboração entre humanos e máquinas” (tradução elaborada pelo ChatGPT).
Nesse episódio, é flagrante como a IA “sem opiniões, sentimentos ou ideologia” traduziu de forma fraudulenta a passagem que lhe era crítica. Em vez do alerta, segundo o qual os sistemas generativos de IA podem ser “deeply harmful to a social understanding of knowledge and learning” (“profundamente prejudiciais para a compreensão social de conhecimento e aprendizagem”), o sistema “tomou a liberdade” de trocar a versão original por outra, mais benevolente consigo. Em momento algum o fragmento em inglês diz algo semelhante a “podemos ser um pouco mais sofisticados em nossa educação, ensinando a colaboração entre humanos e máquinas”. Caso o usuário que solicitou a tradução fosse de fato leigo na língua original, a manipulação certamente teria êxito, assumindo valor de verdade.
Ao perceber a adulteração, submetemos o mesmo trecho novamente ao chatbot, logo em seguida, e obtivemos esta nova versão:
“Assim que expandimos nossa noção de conhecimento do individual para o coletivo, da memória pessoal para sistemas de conhecimento ‘ciber-sociais’ (Cope e Kalantzis, 2022), nos deparamos com problemas muito maiores com a IA generativa. Com base em uma análise de sua arquitetura fundamental e processos algorítmicos – na medida em que são divulgados (Open AI 2023) – e na análise do desenvolvimento de chatbots e modelos de linguagem estatística, sugerimos que os C-LLMs também são profundamente prejudiciais para uma compreensão social do conhecimento e da aprendizagem das seguintes maneiras” (tradução elaborada pelo ChatGPT).
Aparentemente, a IA foi capaz de fazer uma sutil inferência: ao ver submetido novamente o trecho alvo da adulteração, o sistema deduziu que havia sido descoberto e tentou desfazer a trapaça. Mas era tarde.
A falácia da dualidade “técnico vs. ideológico”
O discurso hegemônico ocidental tem sido bastante bem-sucedido ao defender a fantasia de um mundo guiado por decisões técnicas, objetivas, totalmente a salvo de ideologias. Não é raro, por exemplo, que o noticiário distinga atores políticos entre “técnicos” e “ideológicos”, como se houvesse técnica desprovida de ideologia.
Ao simular os aspectos ideológicos de um discurso, seu portador assume uma posição extremamente autoritária: alça sua formação discursiva ao patamar de verdade, de algo inquestionável. Como se houvesse enunciados dotados de razão, enquanto outros seriam “mera ideologia”.
No caso dos sistemas de IA que geram linguagem (dos quais o ChatGPT é hoje o mais conhecido), não é diferente: nesses casos, seus detentores programam o robô para declarar-se imparcial e objetivo, como se não houvesse por trás dos textos interesses humanos – demasiadamente humanos.
________________
(As opiniões expressas nos artigos publicados no Jornal da USP são de inteira responsabilidade de seus autores e não refletem opiniões do veículo nem posições institucionais da Universidade de São Paulo. Acesse aqui nossos parâmetros editoriais para artigos de opinião.)
