Minha fala inicial ali abordou três pontos centrais:
1. o que são os sistemas de IA de um ponto de vista técnico e social;
2. seus impactos para a democracia; e
3. ameaças para os direitos humanos e caminhos para enfrentá-las.
Em relação ao ponto 1, remeto o leitor ou a leitora ao que apresentei no artigo anterior. De modo geral, tratava-se de mostrar, como o fez Kate Crawford em seu livro Atlas da IA, que “a IA não é artificial nem inteligente. Na verdade, ela existe de forma corpórea, como algo material, feito de recursos naturais, combustíveis, mão de obra, infraestruturas, logística, histórias e classificações. Os sistemas de IA não são autônomos, racionais, tampouco capazes de discernir algo sem um treinamento extenso e computacionalmente intensivo, com enormes conjuntos de dados ou regras e recompensas pré-definidas. De fato, tal como a conhecemos, a IA depende totalmente de um conjunto muito mais vasto de estruturas políticas e sociais”.
É preciso afastar as mistificações que têm dominado a cobertura midiática e boa parte do debate público sobre a IA. Se ela nasceu com o propósito de imitar a inteligência humana, hoje, a IA certamente se caracteriza muito mais como sistemas sociotécnicos de captura e processamento da inteligência social para que as big techs possam fornecer assistência algorítmica como algo indispensável à vida humana. A IA 2.0 é a promessa de um serviço de assistência em que os usuários vão poder ser manipuladores de algoritmos (a partir de prompts), automatizando processos de trabalho e linguagem em suas rotinas ou negócios. A IA não é uma máquina separada da sociedade, é a própria sociedade sendo processada de modo maquínico pelas plataformas. É mais urgente nos preocuparmos não com uma superinteligência ou com indivíduos autônomos (robôs) que irão nos dominar, mas com os impactos ambientais, econômicos, sociais e humanos que já estão em curso.
A IA não é uma instância cognitiva ou imaterial separada do mundo social e do meio ambiente. Seu consumo de energia e recursos é insustentável do ponto de vista ecológico e a catástrofe ambiental que preconiza tem sido distribuída de modo desigual – considerando ainda que os dados que temos provavelmente estão subdimensionados. Suas dinâmicas materiais e econômicas têm se demonstrado igualmente insustentáveis – mesmo para os parâmetros de financeirização e improdutividade das big techs e seus unicórnios – com crises e bolhas prestes a estourar. Assim, essas empresas têm se apropriado do valor da inteligência social e das produções culturais para oferecer serviços de automatização do trabalho e da linguagem que precarizam ainda mais os modos de vida da população, agravando exponencialmente a catástrofe ambiental em curso. Além disso, reforçam um modelo econômico improdutivo baseado em especulações e ampliação de desigualdades. Por outro lado, haveria oportunidades e benefícios que o desenvolvimento das tecnologias de IA poderia trazer para a humanidade, principalmente se forem “replataformizadas” em chaves cooperativas e democráticas a serviço das pessoas; contudo, as tendências que estamos vendo são alarmantes.
Impactos estruturais da IA para a democracia
Assim como discutimos no artigo anterior, quando consideramos os impactos da IA para a democracia, precisamos partir de dois elementos centrais que Ricardo Mendonça, Fernando Filgueiras e Virgilio Almeida apresentaram em seu livro Institucionalismo Algorítmico. Por um lado, “os algoritmos são artefatos de racionalização porque capturam a experiência humana por meio de dados e fornecem tentativas de resolver problemas por meio de saídas aplicadas à realidade social. Em outras palavras, os algoritmos são projetados com um propósito e podem organizar diferentes aspectos da vida humana. Essas interações podem ser inclusivas ou exclusivas, mais (ou menos) igualitárias, estereotipadas (ou não), e têm um impacto direto na ação humana. Os algoritmos são instituições”. Assim sendo, as plataformas com seus algoritmos e sistemas de IA têm arbitrado muitos aspectos da vida humana e decidido (imposto) regras que governam nossas interações sociais. Como instituições transnacionais que movimentam mais recursos do que o PIB de muitos países, é possível asseverar que as plataformas são hoje as instituições mais poderosas no sistema democrático.
Por outro lado, o sistema democrático depende de uma dinâmica de checagens e balanços que permita a supervisão de uma instituição por outras. Na democracia, o poder não pode estar concentrado em uma única instituição ou grupos de atores. Para evitar a concentração de poder e promover o equilíbrio entre indivíduos, empresas e instituições, é fundamental que haja responsabilidade (accountability) e transparência. Assim cada instituição deve ser responsável perante as demais, tendo que justificar suas ações e estando sujeitas a punições ocasionais.
Entretanto, o que estamos vendo é o contrário disto: um cenário global de desresponsabilização das plataformas que os processos de regulamentação não estão conseguindo mitigar.
O poder tirânico e ditatorial não deveria ser buscado e denunciado apenas em relação a regimes autoritários, mas em instituições privadas que têm dominado o poder público, o lobby legislativo e a participação social e política no debate público. O modelo de negócio das big techs tem impactado indelevelmente a democracia e a vida das pessoas. Seus algoritmos e sistemas de inteligência artificial têm atuado como intermediários das relações sociais e mediadores entre instituições, minando vínculos éticos, responsáveis, seguros, justos e saudáveis.
Primeiramente, no fenômeno da governamentalidade algorítmica, as plataformas têm utilizado os algoritmos para governar os modos de vida das pessoas, isto é, seus comportamentos e maneiras de pensar, agir, sentir, controlando a comunicação e modulando os fluxos de informação. As plataformas têm monopolizando o controle sobre os objetos técnicos digitais (protocolos, interfaces, default, dados, metadados, algoritmos, etc.), definindo as conexões possíveis, as redes de relevância entre os atores, os vínculos entre dados e metadados, para se apropriar do valor das relações sociais e governar como as pessoas vivem. Como cravou Franco “Bifo” Berardi: “A concatenação dos corpos se remodela de acordo com um princípio conectivo porque os corpos devem obedecer a protocolos uniformizados caso desejem poder trocar dados. Em uma rede, os participantes devem ser compatíveis com o código compartilhado de interoperatividade. O que conduz a um tipo de efeito enxame: os indivíduos atuam de maneira livre, mas seguem pautas neuronais precombinadas. (…) não é possível realizar nenhuma ação social sem adotar a linguagem, os canais de trocas e os protocolos previamente estabelecidos pela máquina digital-financeira”.
O segundo aspecto, o institucionalismo algorítmico, consiste em sua atuação na mediação de todos os tipos de relações sociais. Atualmente, as big techs possuem um poder de incidência sobre a tomada de decisão de indivíduos, empresas e governos, assim como sobre a relação entre esses atores, o que as tornam quase um “poder moderador” com capacidade para estabelecer as regras do jogo e como o jogo será jogado. Não à toa, os mesmos fascistas que pediam intervenção militar com base em interpretação delirante do art. 142 da Constituição Federal, agora pedem a intervenção de Elon Musk pela “liberdade de expressão”. Algumas plataformas que funcionam como poderosas instituições acabam, aqui e ali, por meio de suas ações desvelando a guerra institucional que está em curso, cuja face mais visível são alguns dos embates públicos sobre soberania digital e regulação de plataformas, redes sociais e inteligência artificial.
O terceiro aspecto que podemos apontar consiste na automatização da esfera pública. Como propôs Habermas, os diferentes tipos de esfera pública são os espaços de mediação entre as instâncias públicas e privadas, entre a sociedade e o Estado, com suas diferentes configurações históricas, econômicas e sociais. O que temos visto é que os trabalhos cognitivos, comunicacionais e políticos que constituem a base da vida democrática estão sendo automatizados ou delegados para inteligências artificiais generativas. Trabalhos e usos da linguagem que estão na base do funcionamento da esfera pública, como a produção de documentos que parametrizam políticas públicas, definição de jurisprudências e marcos regulatórios, formação da opinião pública, entre outras, estão sendo delegadas para o processamento algorítmico. Avizinha-se um cenário em que as pessoas produzirão e lerão textos com a mediação das IAs, a cobertura midiática e jornalística dos temas de interesse público será produzida com apoio de IAs, o debate nas redes sociais estará impregnado de boots e de opiniões produzidas com IAs… Enfim, a crise de aferição da verdade e a erosão da confiança nas instituições e nas figuras de autoridade tradicionais parece estar se agravando com a adição de um elemento que tornará exponencial o crescimento do delírio polarizado e coletivo que tem tomado as democracias – pensem apenas, como exemplo, no impacto das deepfake no problema sistêmico da desinformação.
Por fim, o que estamos vendo é o crescimento do controle privado sobre o bem comum sem que haja nenhuma perspectiva de regulamentação efetiva para mitigar o monopólio e a ausência de responsabilidade que mencionei anteriormente. Há uma apropriação crescente do valor das relações sociais e uma captura da inteligência social para os interesses privados dessas empresas, sem que haja contrapartidas ambientais, sociais ou de governança. Uma das razões para tanto, encontra-se no fenômeno que denomino de ambivalência da transparência e desresponsabilização generalizada. De modo resumido, para aprimorar a assistência algorítmica, a sociedade se torna cada vez mais transparente às plataformas e seus sistemas de IA, enquanto seus algoritmos se tornam cada vez mais opacos para nós; só que, nas democracias, sem transparência, não é possível ter responsabilidade de uma instituição ou ator social perante os demais.
Estes são alguns dos impactos estruturais das plataformas com seus algoritmos e sistemas de IA para a democracia; tais impactos também estão afetando estruturalmente a defesa e a promoção dos direitos humanos.
Impactos estruturais da IA para os direitos humanos
Os direitos humanos são indivisíveis e interdependentes. Portanto, uma abordagem que se pretenda estrutural em relação a eles precisaria analisar esses impactos do mesmo modo. Contudo, restringindo-me ao que caberia no escopo deste artigo, mencionarei apenas alguns aspectos que discutimos a partir das áreas de atuação e do trabalho que o Instituto Vladimir Herzog vem realizando.
Começando pela liberdade de expressão, como afirmou João Brant, o “excesso de desinformação afeta o direito de acesso à informação da população”. Para que haja democracia, a informação confiável e a verdade factual são indispensáveis. Contudo, as IAs estão minando ainda mais a fatualidade e a confiabilidade que já estavam em crise. A escrita e leitura de informação mediada ou automatizada por algoritmos agravam a percepção de que nos encontramos diante do paroxismo de que cada indivíduo é responsável por “autenticar” – no sentido mais básico da palavra de “reconhecer como verdadeiro” – o que é real. O bramido negacionista “meus fatos, minhas verdades, minhas leis!” – típicos da “pós-verdade” e da desinformação -, encontra-se com a paranoia geral de que “essa imagem foi produzida por IA!” – o que temos visto em muitos casos, como o de acusações de Trump a Kamala Harris.
Diante desses desafios, o jornalismo inevitavelmente recobrará a função de oferecer fatualidade e confiabilidade em relação aos acontecimentos; podendo também ser um ator fundamental para a explicabilidade da IA. Para além do hype, cabe ao jornalismo atuar para sua desmistificação, oferecendo compreensão na esfera pública acerca de seu real funcionamento, divulgando também os processos de auditoria dos sistemas algorítmicos, visando apoiar a explicabilidade e a efetividade do que está previsto nas regulamentações.
Com relação às pautas de Memória, Verdade e Justiça, as IAs estão substituindo a memória social por processamento massivo de grandes conjuntos de dados — lembrar não será mais pesquisar no Google, mas pedir para um assistente de IA responder a um prompt. Com isso, elas estão ocupando o papel de fazer a vinculação entre o passado e o presente de um modo em que a historicidade e a veracidade vão perdendo relevância. Faz-se presente a necessidade de disputar o que significa ser um arquivo da história e da memória.
A etimologia da palavra arquivo vem de arkhé, e Derrida, em seu livro Mal de Arquivo, recupera o que era o arkheîon grego, “inicialmente uma casa, um domicílio, um endereço, a residência dos magistrados superiores, os arcontes, aqueles que comandavam”. Os arcontes eram as figuras de autoridade do saber e do poder que detinham a fé pública e o poder político que os instituía como “guardiões” do arquivo, detentores e possuidores de um governo sobre os documentos, os signos e suas interpretações. As IAs não podem ocupar o lugar de arquivo da sociedade e as plataformas, de seus arcontes. Para tanto, para além da memória como processamento algorítmico de uma miríade de dados sobre o passado, trata-se de resgatar a importâncias dos testemunhos, das vivências, das histórias para a memória e seu armazenamento coletivo.
Em relação à educação em direitos humanos, o que estamos vendo é que os algoritmos têm impactado de modo irreversível a socialização humana. Como propôs Maria Victoria Benevides, a educação em direitos humanos “é a formação de uma cultura de respeito à dignidade humana através da promoção e da vivência dos valores da liberdade, da justiça, da igualdade, da solidariedade, da cooperação, da tolerância e da paz. Isso significa criar, influenciar, compartilhar e consolidar mentalidades, costumes, atitudes, hábitos e comportamentos que decorrem, todos, daqueles valores essenciais citados – os quais devem se transformar em práticas”. As plataformas têm se consolidado como “educadoras” das relações humanas, como formadores de cultura, ocupando o lugar de modular como valores se transformam em práticas.
Os resultados perniciosos de tal processo no caso das redes sociais já estão amplamente difundidos. Outrossim, há uma lista interminável de ameaças e violações de direitos humanos que vão de vieses, discriminação, racismo algorítmico, ciclos nocivos de feedback, precarização do trabalho etc., no caso dos algoritmos de sistemas de IA. A educação em e sobre direitos humanos é imprescindível, portanto, para que a sociedade esteja avaliando os riscos e vigilante sobre o dever de não causar dano das plataformas e para que os “corações e mentes” das pessoas possam pautar a socialização por princípios e valores dos direitos humanos e não por aqueles do individualismo e da meritocracia. Não seria exagero afirmar que o modelo de negócio das big techs com as IAs aprofunda desigualdades já alarmantes e que como resposta para elas oferece uma panaceia de burnout coletivo, um “salve-se quem puder”, que consiste em dizer algo como “aquele que souber usar a IA não ficará para através na vida profissional, mas alavancará sua carreira”.
Complementarmente, a articulação da educação em direitos humanos com a educação em sentido mais geral, permite uma conjunção muito propícia entre, por um lado, o enfrentamento da falta de letramento digital, do analfabetismo algorítmico, das lacunas de educação midiática e da síndrome de vício e ansiedade com as novas tecnologias, e, por outro, a conscientização sobre os princípios e valores dos direitos humanos e sua importância como base da socialização. O Eixo 2 do Plano Brasileiro de IA (PBIA), a BNCC da Computação e a introdução dos conteúdos sobre IA nas escolas, bem como a formação de ativistas e articuladores que tenham conscientização e possam oferecer explicabilidade sobre as violações de direitos humanos praticadas por IAs, e, finalmente, a sistematização de dados e indicadores em parceria com o Observatório Brasileiro de Inteligência Artificial (OBIA) do que seria uma IA que respeita os direitos humanos, são todas excelentes oportunidades para que tal conjunção supramencionada possa acontecer.
Finalmente, em relação ao trabalho de advocacy do Instituto Vladimir Herzog e de outras organizações, o cenário de desregulamentação das IAs e de ameaças à democracia e aos direitos humanos, agrava-se com dois problemas. Por um lado, o desenvolvimento e as inovações tecnológicas são muito acelerados, o que fará com que provavelmente as leis e marcos regulatórios não deem conta de acompanhar esses processos. Por outro, há um enfraquecimento generalizado das instituições tradicionais diante do avanço das big techs na definição das regras que regem a vida social e as relações políticas.
Diante desse cenário, a atuação em relação aos processos de regulamentação (Lei 2.630/2020 e 2.338/2023) se torna imprescindível. É preciso pautar que as garantias e regramentos não se restrinjam à mera formalização principiológica de um arcabouço para o desenvolvimento de uma IA responsável, confiável e pautada pela justiça e equidade; e à mera garantia e proteção de direitos individuais. Precisamos que as IAs não apenas não causem danos, mas que sejam democratizadas, estando a serviço do bem comum e abertas ao escrutínio da população. Um dos elementos fundamentais para tal objetivo é a atuação de uma agência regulatória específica das inteligências artificiais que possa coordenar a atuação de outras agências, mas que também atue diretamente no monitoramento e fiscalização, estabelecendo normas e diretrizes rigorosas – tal como o faz a Anvisa para o desenvolvimento de novos medicamentos – para garantir o uso seguro, justo e equitativo dos algoritmos na mediação da vida social e das IAs em geral.
Há também uma possível atuação em parceira com o Centro Nacional de Transparência Algorítmica e IA Confiável (previsto no Eixo 5 do PBIA) para viabilizar a auditabilidade com dados confiáveis e sistematizados de inputs/outputs; dados sobre arquitetura, desempenho, etc. dos sistemas algorítmicos, permitindo avaliação e adequação desses ao que esteja previsto na regulamentação. Complementarmente, uma atuação propositiva e articulada com empresas de tecnologia para que o desenvolvimento de inovações de IA possa vir acompanhado de modelos de explicabilidade sobre como os resultados estão sendo gerados – há caminhos possíveis sendo delineados e os modelos que Gemini e OpenAI apresentaram recentemente, com suas cadeias de pensamentos (chain of thought) baseadas em procedimentos de agentic workflow e retrieval-augmented generation (RAG), dão prova disso.
Não é a primeira vez na história da democracia e dos direitos humanos que as instituições – considerando os algoritmos e sistemas de IA como novas instituições – estão em disputa. Mas, dados os impactos estruturais que vimos, é possível afirmar que este é, sem dúvida, um momento decisivo.
________________
(As opiniões expressas nos artigos publicados no Jornal da USP são de inteira responsabilidade de seus autores e não refletem opiniões do veículo nem posições institucionais da Universidade de São Paulo. Acesse aqui nossos parâmetros editoriais para artigos de opinião.)
