Deformações jurídicas e o direito que alucina

Por Glauco Arbix, professor da Faculdade de Filosofia, Letras e Ciências Humanas (FFLCH) da USP

 09/02/2024 - Publicado há 10 meses
Glauco Arbix – Foto: Marcos Santos / USP Imagens

 

O número crescente de usuários, o aumento do investimento e a busca incessante de maior poder computacional deixam claro que o esforço pela incorporação de tecnologias de Inteligência Artificial (IA) nas empresas, governos e universidades, assim como a disseminação de seu uso pelo mundo afora, não somente não arrefeceu como exibe fortes sinais de aceleração em 2024.

A melhora sensível na capacidade de imitação do raciocínio humano e a velocidade da evolução dos modelos generativos viabilizam cada vez mais a integração de imagens, fotos, vídeos, gráficos, tabelas e sons e abrem um capítulo novo na trajetória da IA, com a formação de sistemas multimodais, capazes de executar tarefas complexas para além da escrita digital. Ao trabalhar com diferentes tipos de comunicação, os sistemas generativos são agora capazes de compreender um tipo de mídia e responder em outro, de receber textos e devolver imagens, de passar dos sons para gráficos e vice-versa. Tentam, com isso, seguir os passos sequenciais à imagem do raciocínio humano, em que o conhecimento novo se apoia no anterior.

A nova geração de IA se consolida como uma tecnologia de propósito geral, a exemplo do que foi a máquina a vapor, a eletricidade, a computação e a internet. Prepara, de fato, um novo salto científico e tecnológico e transforma praticamente todos os aspectos da economia e da sociedade, com impacto inexorável na pesquisa científica, na produção industrial, no comércio, agricultura e nos serviços, tornando-se cada vez mais imprescindível para a geração de inovações.

A aprendizagem de máquina (machine learning), que está na base dos grandes modelos generativos, marcou profundamente a década passada e continua fornecendo as bases científicas para o avanço atual dos grandes modelos de linguagem. Mas a velocidade com que os modelos de hoje amadurecem e saem dos laboratórios de pesquisa para a economia real e a vida em sociedade é extraordinária e completamente distinta do passado.

Em áreas específicas, a IA já atingiu padrões semelhantes (ou até mesmo superiores) aos alcançados pelo nosso cérebro, que evoluiu a partir de um oceano de interações entre humanos, a natureza e a sociedade desenvolvidas ao longo de séculos. Em geral, os sistemas generativos atuam por meio do que se convencionou chamar de redes neurais – construções que combinam muita engenharia, matemática e estatística avançada -, que devoram dados para aprender e aprendem devorando dados. Com isso, conseguem resolver problemas, estabelecer relações, identificar padrões e gerar textos e sugestões por sua própria conta.

É ocioso o debate se a inteligência artificial poderá se equiparar ou mesmo superar as habilidades do cérebro humano, pelo menos no estágio tecnológico atual, em que o novo ciclo tecnológico ainda vive sua infância. Mesmo assim, importante reconhecer que essa discussão ganha corpo e divide a opinião de coders e cientistas.

Muitos especialistas defendem que esses sistemas apenas parecem raciocinar, uma vez que repetem ou replicam dados e comportamentos que estão na internet ou armazenados em gigantescos bancos de dados. Outros apontam que em pouco tempo a IA poderá assumir as características de um/a agente, capaz de tomar decisões autonomamente, com todas as implicações éticas decorrentes.

Enquanto o debate se desenrola, a IA prossegue com os limites definidos basicamente por seus grandes produtores, corporações privadas, que atuam globalmente, perpassam sistemas legais e regulatórios e se configuram atores dos mais relevantes no mundo contemporâneo. A esmagadora maioria dos países não conta com a infraestrutura, o conhecimento, os recursos materiais e a competência das big techs. Seu aparato legal-regulatório mostra-se impotente para conter, governar e proteger a população. No mesmo diapasão da era da internet, a solução encontrada é a autorregulação, ou a contenção voluntária, com o alto risco de reprodução de uma história de fracasso, que resultou nos desequilíbrios atuais, nas ameaças à democracia e na explosão de questões éticas.

Apesar das promessas da IA, a insegurança, a incerteza e a corrosão de valores éticos apenas confirmam a instabilidade que ainda marca esses sistemas por conta do mau uso propriamente humano e também da natureza e da lógica que dominam as novas máquinas. Alucinações, invenções, distorções, falseamentos e deformações já fazem parte cardápio rotineiro. O pior da tecnologia, alojado em meio a guerras, às alterações do clima e às disputas da geopolítica, ainda pode se manifestar.

Os sinais são fartos e extensos. A exemplo da penetração da IA no meio jurídico, em que advogados de várias linhagens são pressionados diretamente pelos avanços tecnológicos. Lembrem-se que a principal ferramenta que movimenta esse universo é a linguagem. E os modelos generativos atuais são altamente eficazes para resumir, sintetizar, analisar e processar textos. Vários estudos revelaram que a área jurídica está entre as quatro profissões mais ameaçadas por sistemas do tipo ChatGPT, PaLM, Claude, LLama, Ernie, Galactica ou Bard, que são alimentados por bilhões de parâmetros e são chamados a gerar relatórios e cenários sobre uma ampla gama de temas sensíveis.

Levantamento da Thomson Reuters identificou que 65% dos profissionais europeus e americanos do meio jurídico trabalham com a perspectiva de uma enorme transformação do segmento nos próximos cinco anos. Proliferam as startups de tecnologia jurídica e escritórios de advocacia que se utilizam de ferramentas baseadas em grandes modelos de linguagem para examinar documentos, identificar padrões, elaborar memorandos, resumos de casos e até mesmo para formular estratégias complexas de litígio. Com isso, os escritórios buscam aumentar sua produtividade, a eficiência, reter talentos e integrar gestão de seus profissionais. Para alguns, o otimismo com a IA é crescente, em função do grau de melhoria de suas análises, de pesquisa sobre a legislação, de contratos, gestão de risco e compliance. O contentamento cresce ainda mais quando os custos desabam.

Porém, nada como um olhar mais atento para diminuir a euforia. E, como é da tradição das boas universidades, um exame criterioso de processos novos deixa claro que ainda há um longo caminho a percorrer. E não somente no campo da ética e da privacidade, mas também no da segurança dos dados, no viés e na informação desencontrada ou incorreta. Isso significa que é fundamental reconhecer os limites dos atuais sistemas, de modo a cultivar a crítica e manter vivos os padrões legais que orientam a profissão e os bons profissionais.

O exame criterioso da penetração da IA no meio jurídico mostra que os grandes sistemas generativos não podem prescindir de bons advogados. Nem as fábricas de seus operários. E as escolas, de professores.

Ao automatizar processos legais, as máquinas devem assistir e não substituir os advogados.

Pesquisadores do Stanford RegLab e do Institute for Human-Centered AI da Universidade de Stanford (EUA) avaliaram as respostas jurídicas que alguns dos principais chatbots disponíveis oferecem para os escritórios, para o judiciário e para os usuários em geral. Os resultados não foram entusiasmantes, pois os chatbots alucinaram incorrigivelmente no suporte jurídico.

Segundo os pesquisadores, alguns dos grandes modelos de linguagem mostraram diferentes tipos de alucinação em cerca de 75% das vezes que foram chamados a responder perguntas sobre as decisões tomadas por tribunais. O estudo testou mais de 200 mil questões jurídicas no ChatGPT da OpenAI, no PaLM 2 do Google e no Llama 2 da Meta, modelos de uso geral que não foram construídos para o uso legal. É provável que ferramentas treinadas especificamente para uso legal possam exibir melhores resultados; porém, mesmo a construção de chatbots mais aprimorados não será suficiente para eliminar completamente a falta de precisão nas respostas, dada a natureza mesma desses sistemas. E, no meio jurídico, esse ponto é essencial.

O estudo destacou que os chatbots foram mais precisos quando atuaram em casos da Suprema Corte dos Estados Unidos (mais divulgados publicamente) e cometeram erros com maior frequência quando perguntados sobre a jurisprudência de tribunais com alçada inferior (que ganham menor publicidade). Esse resultado deixa claro que a disseminação da IA não provoca necessariamente uma melhoria do acesso ao judiciário, dadas as dificuldades dos chatbots no tratamento jurídico das questões que se manifestam nos tribunais de primeira instância.

O estudo mostrou também que os sistemas sofrem de uma espécie de viés contrafactual, ou seja, são propensos a acreditar numa premissa falsa embutida em uma pergunta, provavelmente para não se contrapor ao posicionamento do usuário. O ChatGPT e o PaLM inclinaram-se mais a não questionar a veracidade da pergunta, enquanto o Llama foi mais insistente no questionamento da premissa (equivocada) sugerida no prompt.

A pesquisa detectou que o desempenho desses sistemas de IA se deteriora quando aborda questões mais complexas, que exigem uma compreensão matizada das questões jurídicas ou quando precisa interpretar textos legais, incompletos ou ambíguos. Ao solicitar uma análise sobre os pontos de acordo e discordância existentes entre dois processos distintos, uma atividade central na pesquisa jurídica, os pesquisadores colheram resultados não animadores, uma vez que as respostas não se diferenciaram estatisticamente de avaliações intuitivas ou aleatórias.

De um ponto de vista geral, a pesquisa identificou que as alucinações não ocorrem apenas em casos isolados; pelo contrário, são generalizadas e, por isso mesmo, inquietantes. As taxas de alucinação variaram de 70% a 88% em resposta a consultas legais específicas. Mais ainda, como esses modelos não são capazes de reconhecer seus próprios erros, tendem a reforçar pressupostos e crenças legais incorretas.

A grande repercussão do estudo amplificou as desconfianças sobre a confiabilidade dos chatbots, pelo menos em contextos legais, e ressaltou a importância da integração cuidadosa e supervisionada dessas tecnologias de IA na prática jurídica. A começar pelo esclarecimento das pessoas que recorrem aos modelos generativos como substitutos de advogados ou escritórios especializados, por não conseguirem arcar com os custos de uma boa assistência jurídica. De acordo com a Legal Services Corporation, uma instituição sem fins lucrativos, as pessoas de baixa renda nos EUA recebem ajuda inadequada ou nenhuma ajuda para equacionarem 90% das questões jurídicas que enfrentam. Ou seja, muita gente se dispõe a consultar esses chatbots, cujas imprecisões podem levar ao agravamento de sua condição.

Neste artigo, foram reproduzidas apenas algumas conclusões da pesquisa da Universidade de Stanford. Sabe-se que há muito trabalho técnico em andamento para diminuir e mesmo eliminar as alucinações dos modelos generativos.

É importante, porém, reconhecer que alucinações jurídicas expressam mais do que um problema técnico. É fundamental que os modelos generativos consigam um equilíbrio entre a qualidade dos dados e a adequação de seu treinamento para que gerem respostas precisas às solicitações dos usuários. A aderência aos fatos jurídicos das cortes, tribunais e do sistema judiciário real é chave para uma IA confiável. A transparência e monitoramento dos procedimentos que informam os chatbots podem minimizar alucinações e distorções.

Cautela é a palavra que deve marcar o uso da IA no meio jurídico, para que o potencial positivo se realize. A integração responsável da IA na prática jurídica exigirá supervisão e compreensão humana das aptidões e limitações da IA.

________________
(As opiniões expressas nos artigos publicados no Jornal da USP são de inteira responsabilidade de seus autores e não refletem opiniões do veículo nem posições institucionais da Universidade de São Paulo. Acesse aqui nossos parâmetros editoriais para artigos de opinião.)


Política de uso 
A reprodução de matérias e fotografias é livre mediante a citação do Jornal da USP e do autor. No caso dos arquivos de áudio, deverão constar dos créditos a Rádio USP e, em sendo explicitados, os autores. Para uso de arquivos de vídeo, esses créditos deverão mencionar a TV USP e, caso estejam explicitados, os autores. Fotos devem ser creditadas como USP Imagens e o nome do fotógrafo.