ChatGPT tem altos níveis de acerto, mas não se deve confiar cegamente nele

A sociedade como um todo vai ter que aprender a trabalhar com esse tipo de ferramenta e estar atenta aos erros introduzidos nas respostas, diz Pedro Luiz Côrtes

 17/03/2023 - Publicado há 1 ano
Esse novo padrão de busca provavelmente vai substituir ou alterar ferramentas tradicionais como o Google – Fotomontagem: Jornal da USP – Fotos: Pexels e Public Domain

 

Logo da Rádio USP

Dando seguimento à série de entrevistas sobre o ChatGPT – um mecanismo de busca que utiliza inteligência artificial e responde aos internautas por meio de textos bem construídos –  nas mais diversas áreas do conhecimento, hoje o assunto foi sobre qual é o impacto dessa ferramenta em temas ambientais.

Pedro Luiz Côrtes, titular da Escola de Comunicações e Artes (ECA) e do Instituto de Energia e Ambiente (IEE) da USP, testou a ferramenta, fazendo diversas perguntas sobre o meio ambiente. Começando com o que causa o desmatamento na Amazônia, a resposta dada pelo Chat é certeira, mas o professor relata que um ponto apresentado é duvidoso: quando é citado que a exploração de ouro e diamante é um dos fatores responsáveis pelo desmatamento. “Na verdade, o principal tem sido ouro e cassiterita, que é o caso da Terra Yanomami. Ele já incluiu aqui um pequeno deslize. A exploração de diamante na Amazônia não é expressiva”, explica o professor.

Porém, Côrtes diz que, dentre as respostas, houve um ganho. Quando a ferramenta cita as mudanças climáticas, coloca que a redução das chuvas tem causado degradação de áreas dentro da floresta amazônica. O desmatamento realmente provoca redução de chuva e faz com que outras áreas sejam afetadas. Em um outro questionamento, o ChatGPT respondeu que os responsáveis pela mudança climática são os gases do efeito estufa, as mudanças no uso da terra, o aquecimento dos oceanos, as mudanças no solo e atividade vulcânica e a variabilidade natural. O interessante é que, no caso dos fatores de mudanças no solo, atividade vulcânica e a variabilidade natural, a própria ferramenta faz uma ressalva: “Chama atenção para a velocidade com que essas mudanças ocorreram ultimamente, e elas são atribuídas, principalmente, às emissões de gases de efeito estufa”, diz Côrtes.

A base de dados do ChatGPT, na versão aberta, vai só até 2021. No ano passado e neste ano, porém, houve mudanças climáticas abruptas, o que pode interferir nas respostas e dar dados desatualizados. Um exemplo disso é quando o professor perguntou se a poluição do ar na cidade de São Paulo está aumentando ou diminuindo. O Chat, então, responde que sua base de dados vai até 2021 e que não poderia avaliar o que foi pedido. Mesmo assim, responde que a cidade vem apresentando melhorias na qualidade do ar, mas lembra que, em muitos dias, o nível de poluição excede o nível recomendado pela OMS.

Indução ao erro

Em outro momento, Pedro Côrtes tenta induzir o programa ao erro. Começa perguntando quais foram os períodos de seca em São Paulo, para qual o Chat responde 2014 e 2015. “Aqui é uma pequena incorreção, porque normalmente admitimos que essa crise foi até o início de 2016. Ele cita outra em 2021, com a qual eu concordo, mas não há, vamos dizer assim, um consenso geral se nós tivemos uma crise [nesse ano]”, lembra o professor.

A base de dados do ChatGPT, na versão aberta, vai só até 2021 – Foto: Julio Bazanini/USP Imagens

 

Até o momento, a ferramenta não tinha cometido nenhuma confusão. Por isso, Côrtes decidiu perguntar se houve alguma crise no início do século e o Chat responde que sim, em 2001. Nesse momento, o professor decide perguntar se não foi, na verdade, em 2003. O Chat pede desculpas pelo erro e concorda com o professor. “Talvez eu tenha induzido ele a mencionar uma resposta correta”, diz. Em seguida, pergunta se, em 2010, não houve também uma crise hídrica. O ChatGPT, então, pede desculpas por qualquer erro, mas avisa que não tem registro de uma crise hídrica significativa nesse ano. “Teve um bom nível de acerto, de assertividade”, diz.

A ferramenta é boa mesmo?

“Ele é tão bom que ele pode levar as pessoas a confiarem plenamente no que está apresentando”, avalia Côrtes, e explica que tem correções, mas não é uma falha grave. Porém, faz um alerta para as pessoas que não têm filtro ou conhecimento sobre os temas e que confiam cegamente no sistema. Essas podem acabar acreditando em erros que a própria ferramenta apresenta, embora os dados citados sejam corretos na maioria das vezes. “O nível de acerto dele em muitos casos supera 90%”, diz o professor. 

As pessoas não podem cair no erro de aceitar as respostas como totalmente corretas e isentas de erros. “Eu vejo com muitos bons olhos essa ferramenta. A gente vai ter que aprender a trabalhar, como sociedade, com esse tipo de ferramenta”, fala Côrtes. Ele ainda avalia que esse novo padrão de busca provavelmente vai substituir ou alterar ferramentas tradicionais como o Google. Essa ferramenta, entretanto, ainda vai passar por modificações e aprimoramento de sua base de dados. “A gente vai precisar tomar o cuidado necessário para perceber erros que talvez, inadvertidamente, ele acabe introduzindo nas respostas”, finaliza. 


Jornal da USP no Ar 
Jornal da USP no Ar é uma parceria da Rádio USP com a Escola Politécnica e o Instituto de Estudos Avançados. No ar, pela Rede USP de Rádio, de segunda a sexta-feira: 1ª edição das 7h30 às 9h, com apresentação de Roxane Ré, e demais edições às 14h, 15h e às 16h45. Em Ribeirão Preto, a edição regional vai ao ar das 12 às 12h30, com apresentação de Mel Vieira e Ferraz Junior. Você pode sintonizar a Rádio USP em São Paulo FM 93.7, em Ribeirão Preto FM 107.9, pela internet em www.jornal.usp.br ou pelo aplicativo do Jornal da USP no celular. 

 


Política de uso 
A reprodução de matérias e fotografias é livre mediante a citação do Jornal da USP e do autor. No caso dos arquivos de áudio, deverão constar dos créditos a Rádio USP e, em sendo explicitados, os autores. Para uso de arquivos de vídeo, esses créditos deverão mencionar a TV USP e, caso estejam explicitados, os autores. Fotos devem ser creditadas como USP Imagens e o nome do fotógrafo.