ChatGPT tem altos níveis de acerto, mas não se deve confiar cegamente nele

A sociedade como um todo vai ter que aprender a trabalhar com esse tipo de ferramenta e estar atenta aos erros introduzidos nas respostas, diz Pedro Luiz Côrtes

 17/03/2023 - Publicado há 1 ano
Esse novo padrão de busca provavelmente vai substituir ou alterar ferramentas tradicionais como o Google – Fotomontagem: Jornal da USP – Fotos: Pexels e Public Domain

 

Logo da Rádio USP

Dando seguimento à série de entrevistas sobre o ChatGPT – um mecanismo de busca que utiliza inteligência artificial e responde aos internautas por meio de textos bem construídos –  nas mais diversas áreas do conhecimento, hoje o assunto foi sobre qual é o impacto dessa ferramenta em temas ambientais.

Pedro Luiz Côrtes, titular da Escola de Comunicações e Artes (ECA) e do Instituto de Energia e Ambiente (IEE) da USP, testou a ferramenta, fazendo diversas perguntas sobre o meio ambiente. Começando com o que causa o desmatamento na Amazônia, a resposta dada pelo Chat é certeira, mas o professor relata que um ponto apresentado é duvidoso: quando é citado que a exploração de ouro e diamante é um dos fatores responsáveis pelo desmatamento. “Na verdade, o principal tem sido ouro e cassiterita, que é o caso da Terra Yanomami. Ele já incluiu aqui um pequeno deslize. A exploração de diamante na Amazônia não é expressiva”, explica o professor.

Porém, Côrtes diz que, dentre as respostas, houve um ganho. Quando a ferramenta cita as mudanças climáticas, coloca que a redução das chuvas tem causado degradação de áreas dentro da floresta amazônica. O desmatamento realmente provoca redução de chuva e faz com que outras áreas sejam afetadas. Em um outro questionamento, o ChatGPT respondeu que os responsáveis pela mudança climática são os gases do efeito estufa, as mudanças no uso da terra, o aquecimento dos oceanos, as mudanças no solo e atividade vulcânica e a variabilidade natural. O interessante é que, no caso dos fatores de mudanças no solo, atividade vulcânica e a variabilidade natural, a própria ferramenta faz uma ressalva: “Chama atenção para a velocidade com que essas mudanças ocorreram ultimamente, e elas são atribuídas, principalmente, às emissões de gases de efeito estufa”, diz Côrtes.

A base de dados do ChatGPT, na versão aberta, vai só até 2021. No ano passado e neste ano, porém, houve mudanças climáticas abruptas, o que pode interferir nas respostas e dar dados desatualizados. Um exemplo disso é quando o professor perguntou se a poluição do ar na cidade de São Paulo está aumentando ou diminuindo. O Chat, então, responde que sua base de dados vai até 2021 e que não poderia avaliar o que foi pedido. Mesmo assim, responde que a cidade vem apresentando melhorias na qualidade do ar, mas lembra que, em muitos dias, o nível de poluição excede o nível recomendado pela OMS.

Indução ao erro

Em outro momento, Pedro Côrtes tenta induzir o programa ao erro. Começa perguntando quais foram os períodos de seca em São Paulo, para qual o Chat responde 2014 e 2015. “Aqui é uma pequena incorreção, porque normalmente admitimos que essa crise foi até o início de 2016. Ele cita outra em 2021, com a qual eu concordo, mas não há, vamos dizer assim, um consenso geral se nós tivemos uma crise [nesse ano]”, lembra o professor.

A base de dados do ChatGPT, na versão aberta, vai só até 2021 – Foto: Julio Bazanini/USP Imagens

 

Até o momento, a ferramenta não tinha cometido nenhuma confusão. Por isso, Côrtes decidiu perguntar se houve alguma crise no início do século e o Chat responde que sim, em 2001. Nesse momento, o professor decide perguntar se não foi, na verdade, em 2003. O Chat pede desculpas pelo erro e concorda com o professor. “Talvez eu tenha induzido ele a mencionar uma resposta correta”, diz. Em seguida, pergunta se, em 2010, não houve também uma crise hídrica. O ChatGPT, então, pede desculpas por qualquer erro, mas avisa que não tem registro de uma crise hídrica significativa nesse ano. “Teve um bom nível de acerto, de assertividade”, diz.

A ferramenta é boa mesmo?

“Ele é tão bom que ele pode levar as pessoas a confiarem plenamente no que está apresentando”, avalia Côrtes, e explica que tem correções, mas não é uma falha grave. Porém, faz um alerta para as pessoas que não têm filtro ou conhecimento sobre os temas e que confiam cegamente no sistema. Essas podem acabar acreditando em erros que a própria ferramenta apresenta, embora os dados citados sejam corretos na maioria das vezes. “O nível de acerto dele em muitos casos supera 90%”, diz o professor. 

As pessoas não podem cair no erro de aceitar as respostas como totalmente corretas e isentas de erros. “Eu vejo com muitos bons olhos essa ferramenta. A gente vai ter que aprender a trabalhar, como sociedade, com esse tipo de ferramenta”, fala Côrtes. Ele ainda avalia que esse novo padrão de busca provavelmente vai substituir ou alterar ferramentas tradicionais como o Google. Essa ferramenta, entretanto, ainda vai passar por modificações e aprimoramento de sua base de dados. “A gente vai precisar tomar o cuidado necessário para perceber erros que talvez, inadvertidamente, ele acabe introduzindo nas respostas”, finaliza. 


Jornal da USP no Ar 
Jornal da USP no Ar no ar veiculado pela Rede USP de Rádio, de segunda a sexta-feira: 1ª edição das 7h30 às 9h, com apresentação de Roxane Ré, e demais edições às 14h, 15h, 16h40 e às 18h. Em Ribeirão Preto, a edição regional vai ao ar das 12 às 12h30, com apresentação de Mel Vieira e Ferraz Junior. Você pode sintonizar a Rádio USP em São Paulo FM 93.7, em Ribeirão Preto FM 107.9, pela internet em www.jornal.usp.br ou pelo aplicativo do Jornal da USP no celular. 

 


Política de uso 
A reprodução de matérias e fotografias é livre mediante a citação do Jornal da USP e do autor. No caso dos arquivos de áudio, deverão constar dos créditos a Rádio USP e, em sendo explicitados, os autores. Para uso de arquivos de vídeo, esses créditos deverão mencionar a TV USP e, caso estejam explicitados, os autores. Fotos devem ser creditadas como USP Imagens e o nome do fotógrafo.