A fim de se ter uma proteção sistêmica e preventiva, destaca-se o papel do compliance e design dentro de um ecossistema de governança de IA em múltiplas camadas e flexível. Tal proposta considera o potencial de afronta a diversos direitos fundamentais por aplicações de IA, indo além de “bias”, discriminação e questões de privacidade, promovendo uma inovação responsável e sustentável. Medidas preventivas por meio do compliance e do design podem ajudar as empresas a evitar ou reduzir significativamente danos reputacionais e repercussões legais, melhorando sua competitividade e confiança, portanto, potencializando ganhos e reduzindo custos, pensando-se em termos de sustentabilidade.
Um dos exemplos consagrados internacionalmente de frameworks é o Building Accountable AI Programs – Examples and Best Practices for Implementing the Core Elements of Accountability do CIPL – Centre for Information Policy Leadership. Segundo tal modelo, a responsabilidade é central dentro de um programa de conformidade da IA, equilibrando a sustentabilidade do negócio com a proteção individual de direitos. No entanto, o foco também deve incluir danos coletivos e sociais, destacando valores democráticos e preocupações ambientais, envolvendo o conceito da múltipla dimensionalidade dos direitos fundamentais.
Um aspecto essencial deste processo é a supervisão externa por uma equipe multidisciplinar, garantindo a independência e legitimidade dos instrumentos adotados ou auditados, evitando-se o que se tem denominado por compliance washing, ou safety washing, na linha do green washing e do ethics bluewashing, como expõem com propriedade L. Floridi e Josh Cowls. O ethics shopping, o ethics lobbying, o ethics bluewashing, ao lado do ethics dumping e do ethics shirking, seriam uma espécie de “maquiagem” ou marketing, ethics gerunds, considerando os primeiros mais como fatores distrativos e os dois últimos como fatores mais destrutivos, longe de promoverem mudanças substanciais e concretas. Uma IA responsável e confiável, accountable, é fundamental para o crescimento da confiança do consumidor e dos stakeholders, estando intimamente conectados com o crescimento sustentável a longo prazo, atendendo às crescentes expectativas de clientes, investidores, reguladores e mídia, tornando-se um diferencial competitivo.
A presente abordagem traz os questionamentos como centrais (zetética), em vez de fornecer respostas prontas, indo além do pensamento dualístico e dogmas inquestionáveis, tais como, ver a inovação em um processo não de soma zero no tocante à governança de IA, ou seja, não como um necessário tradeoff entre a regulação de tal tecnologia e uma proteção adequada de direitos, e um obstáculo à inovação, mas como uma perspectiva sustentável, vendo a inovação sendo incrementada por meio de tal mentalidade e nova cultura, assim como se deu com a nova cultura que está sendo sedimentada a partir da promulgação da Lei Geral de Proteção de Dados.
Fala-se em ubiquidade da IA, já que esta possui um impacto em todos os setores da sociedade, ampliando-se o uso e a facilidade de técnicas de controle e manipulação comportamental, o que é denominado de “captologia”, para fins econômicos e políticos, ligadas a questões atuais como fake news, discurso de ódio e bolhas de filtro, conforme aponta Eli Pariser em O Filtro Invisível, sendo tais práticas essenciais na fase da história denominada de pós-verdade. A manipulação comportamental e a persuasão sempre foram ferramentas da publicidade e marketing.
No entanto, com as redes sociais e a IA, essas atividades aumentaram exponencialmente, transformando a produção, disseminação e interpretação das notícias. Anteriormente, as fontes de notícias eram limitadas e relativamente confiáveis, mas agora surgiram novas formas de publicação, compartilhamento e disseminação viral. Essa lógica de caça-cliques nas redes sociais valoriza o conteúdo online pelo volume de tráfego, independentemente da veracidade. Histórias sensacionalistas e imagens são criadas para capturar a atenção do usuário, direcionando-o para sites propagandísticos com objetivos consumistas. Um problema central acerca das fake news é a falta de pensamento crítico e de uma postura ativa em verificar as fontes de informação e o papel da educação digital neste sentido. Segundo Hervey, notícias ruins são as únicas notícias porque são viciantes, enquanto as boas notícias permanecem invisíveis por não serem vendáveis.
Um desenvolvimento menos explorado é o “neuromarketing”, que usa a análise de dados cerebrais para decodificar reações emocionais a anúncios persuasivos. Empresas neste setor (e.g., salesbrain.com.br) muitas vezes não divulgam a utilização de medidas de conformidade ou mesmo de proteção de dados. Esta técnica pode envolver análise facial para decodificar microexpressões universais, principalmente abaixo do nível consciente. Medir nossas emoções significa controlá-las, influenciando nosso comportamento, já que decisões são frequentemente impulsionadas por emoções, refletidas na origem latina de “emoção,” de movere, ou seja, mover. A atividade cerebral primitiva, responsável por respostas emocionais, é monitorada através de análise de voz, resposta galvânica da pele, variabilidade da frequência cardíaca, arritmia sinusal respiratória, rastreamento ocular, decodificação de expressões faciais e dominância do lobo frontal, registrando alterações do fluxo sanguíneo.
Dados neurais são dados pessoais extremamente sensíveis, relacionados ao novo direito fundamental da integridade mental, sendo reconhecida sua proteção em face do potencial de manipulação e utilização abusiva, a exemplo da PEC 298 de 2023 do Rio Grande do Sul, que altera a Constituição para proteger a identidade mental contra pesquisas que afetam o cérebro sem consentimento. No entanto, esta provisão é limitada, não abordando a proteção do uso de tais dados e medidas de mitigação de danos, especialmente quando usados comercialmente, além de trazer a problemática da ficção, fadiga ou fragilidade da base legal do consentimento, já que nem sempre se tem o consentimento com seus requisitos legais (informado, fragmentado). Destacam-se também a EC 29/2023, que reconhece explicitamente a integridade mental e a transparência algorítmica como direitos fundamentais, e o PL 522/2022, que altera a LGPD para definir e regulamentar este direito.
Comparativamente, o Chile reconheceu explicitamente os neurodireitos como direitos fundamentais no artigo 19 de sua Constituição, sendo tal temática objeto de decisão da Corte Constitucional no caso “Guido Girardi vs. Emotiv Inc.” (Processo nº 105.065-2023, rel. Min. Ángela Vivanco, julgado em 09/08/2023). Além disso, a Recomendação da OCDE sobre Inovação Responsável em Neurotecnologia, a Declaração Interamericana de Princípios sobre Neurociências, Neurotecnologias e Direitos Humanos da OEA, e o Relatório da Unesco sobre o tema são referências significativas.
Outrossim, o PL 2338/2023 prevê a necessidade da elaboração de uma Avaliação de Risco Algorítmico (AIA) em aplicações de alto risco, embora falte especificações detalhadas sobre seu procedimento e requisitos mínimos para padronização e segurança jurídica, além de ser importante tal avaliação em outros casos além dos casos de alto risco, a depender do contexto. O artigo 14 proíbe a implementação e o uso de sistemas de IA com risco excessivo, incluindo técnicas subliminares e aquelas que exploram vulnerabilidades de grupos específicos ou perfilam indivíduos com base em análise comportamental ou de atributos de personalidade, exceto conforme previsto no artigo 15, mas não há uma ênfase em medidas de mitigação de danos a serem efetuadas de forma prévia, antes da ocorrência dos danos.
Destarte, assim como a cultura de proteção de dados está se consolidando, é essencial que isso ocorra com a IA para garantir aplicações sustentáveis, responsáveis e confiáveis (AI accountable), como resposta ao fenômeno descrito por Byung-Chul Han como “protocolamento total da vida” e panóptico digital, onde a confiança é substituída pelo controle, característica da sociedade da transparência. A possibilidade de um protocolamento total da vida substitui a confiança pelo controle.
Em vez do Big Brother, temos o Big Data, vivendo a ilusão da liberdade (autoexposição e autoexploração). Aqui, todos observam e vigiam todos. O mercado de vigilância no estado democrático aproxima-se perigosamente do estado de vigilância digital. O psicopoder substitui o biopoder, trabalhado por Foucault, intervindo nos processos psicológicos, mais eficiente porque controla de dentro para fora. Na fase atual do capitalismo, ocorre a hipertrofia do modelo de “capitalismo de vigilância,” alterando conceitos tradicionais como democracia, cidadania e soberania, agora vinculados à digitalização de nossas vidas, generalizando a sociedade de controle nos termos do que dispõe G. Deleuze em Post-scriptum sobre as sociedades de controle“, seguindo os desenvolvimentos iniciais de Foucault sobre sociedade disciplinar, regulamentação e normalização.
Portanto, é urgente analisar os aspectos éticos, políticos e jurídicos relacionados ao uso da IA, ainda mais quando há utilização para fins de manipulação comportamental. Com a crescente utilização da Internet das Coisas e serviços, a IA é incorporada a objetos e ambientes diários, ampliando o poder persuasivo. A tecnologia persuasiva abrange cada vez mais áreas, como publicidade, marketing, vendas, relações de trabalho e uso político e econômico. As novas formas de persuasão, especialmente com IA, big data e machine learning, têm maior potencial intrusivo e de danos. Técnicas de persuasão são mais eficazes quando interativas, adaptando táticas de influência conforme a situação evolui, com feedback em tempo real. Esta personalização diferencia-se dos meios de comunicação tradicionais, que utilizavam táticas de manipulação comportamental sem resultados personalizados.
A capacidade dos computadores para análise de grandes dados permite adotar técnicas de persuasão, como sugestões e simplificações de entendimentos. Um exemplo claro de manipulação é o “dataismo,” onde usuários de redes sociais confiam nessas plataformas, acreditando que seus dados estão seguros e não são usados para outros fins sem consentimento informado. Os usuários desconhecem o que ocorre nos bastidores, sua real posição, sendo produtos dessas empresas, não apenas usuários, pagando com seus dados e perfis comportamentais, tornando-se cobaias para experimentos comportamentais sem transparência ou ética.
O termo captologia foi cunhado por B. J. Fogg nos anos 1990, levando à criação do Persuasive Tech Lab na Universidade de Stanford. Às vezes confundida com uma vertente da cientologia, a captologia relaciona-se à manipulação do comportamento humano, evidente em marketing, publicidade, mídia e política. Captologia refere-se ao estudo de computadores e tecnologias como ferramentas de persuasão, manipulando comportamentos, hábitos, emoções e sentimentos usando princípios da psicologia em tecnologia e design.
Isso pode criar novos produtos para mudança comportamental, muitas vezes de forma não transparente e até sub-reptícia, exemplificado pelo escândalo da Cambridge Analytica. Cambridge Analytica usou pesquisas comportamentais e psicológicas de dados do Facebook para perfilar indivíduos, personalizando anúncios e mensagens para manipulação de comportamento, visando às eleições políticas de seus clientes. O Facebook estimou que até 87 milhões de pessoas tiveram dados compartilhados indevidamente com a Cambridge Analytica durante eleições nos EUA, Filipinas, Indonésia e Reino Unido.
Computadores, IA e tecnologias para manipulação comportamental são mais potentes que métodos humanos, devido à intrusão, velocidade e interatividade, aumentando a vulnerabilidade e o potencial de afronta a direitos fundamentais, devendo o direito se adaptar aos novos desafios, e ser complementado em um sistema de governança multicamadas por medidas de compliance e boas práticas, com destaque para a elaboração prévia da Avaliação de Impacto Algorítmico, por meio de uma empresa independente, multidisciplinar e com expertise na área, com ênfase em uma proteção adequada de direitos fundamentais, de forma a se balancear melhor as externalidades positivas e negativas por parte de aplicações de IA, em uma abordagem sustentável e voltada não apenas para o curto prazo.
Não basta falarmos em Direito exponencial, ou em Direito 4.0, ou 5.0, ou comoditização do Direito, mais do que nunca é urgente pensarmos em sua fundamentação epistemológica, sua razão de ser, não sendo suficiente sua caracterização como mera tecnologia ou mesmo metatecnologia, destacando-se seu vínculo com a realização da justiça e proteção de direitos fundamentais, já que um Estado Democrático de Direito é um Estado com respeito a tais direitos, nos quais temos em seu núcleo essencial a dignidade humana.
Ao invés, por outro lado de falarmos apenas em human centered AI precisamos evoluir para o conceito de life centered AI, assim como também do privacy by design chegamos ao fundamental rights by design, reconhecendo uma nova aliança humano/natureza/técnica, com fundamento em autores como Bruno Latour, L. Floridi, Mark Coeckelbergh, Yuk Hui, reconhecendo-se a tecnodiversidade, a cosmoética e a necessidade de um balanceamento (evitando-se a hybris) entre externalidades positivas e negativas, via procedimentos dentro do compliance, dentro da Avaliação de Impacto Algorítmico, como já ocorre na área do Direito com o incentivo à procedimentalização, como expõem Rudolf Wietholther e J. Rawls em sua Teoria da Justiça, ao falar de um procedimento isento e relacionar este a fairness.
Necessitamos de novos paradigmas nas humanidades e ciências sociais, de um ponto de mutação/inflexão, para lidarmos com os desafios inéditos da sociedade da pós-modernidade e sua hipercomplexidade, e neste sentido da mesma forma como tivemos mudanças no paradigma até então existente com a física quântica, talvez precisaríamos quantizar as ciências sociais e humanidades. Trata-se de pensamos em uma ética quântica-contextual (James der Derian e Alexander Wendt). Este foi o tema de um dos nossos artigos mais recentes que apresentamos no Conpedi de 06.2024, com o título Por uma abordagem quântica da governança de dados e da governança de IA, ou seja, seria a busca nos avanços da física quântica como modelos também para o desenvolvimento das ciências sociais.
Portanto, o pensamento crítico e criativo, criador, é essencial não sendo suficiente o mindset que diz “não precisamos criar a roda”, pois se queremos que o Brasil se destaque não apenas como consumidor de tecnologia, com um patamar de apenas um país periférico e produtor de inovação incremental e não disruptiva, devemos pensar em como podemos melhorar, evitando uma mentalidade voltada ao “status quo”. Pensamos em termos de criação ao invés de simples produção (techné) ou mimesis, reprodução (copia e cola, ou seja, meros achismos ou opinião não fundamentada).
Sim, é urgente a tradução de tais avanços tecnológicos em avanços equiparáveis na compreensão e correlata transformação de nosso modo de organizarmo-nos socialmente, é dizer, em nossas bases éticas e jurídicas, as quais se encontram abaladas e substituídas pelas revoluções na matemática e na física, o que suscitou a conhecida formulação de Thomas Kuhn (A Estrutura das Revoluções Científicas), sobre a substituição de paradigmas científicos. E se a substituição de paradigmas é de todo evidente na física, com grande impacto na sociedade, não se pode dizer o mesmo com relação aos estudos sociais propriamente ditos. Como apontado por Kuhn, os paradigmas, tal como outras ordens normativas, entrem em crise, rompam-se por meio de “revoluções”, quando não se consegue, a partir deles, explicar certas anomalias, o que ocasiona sua substituição por algum outro. O exemplo típico é o da substituição, na física, no paradigma mecanicista de Copérnico, Galileu, Giordano Bruno, Newton etc., por aquele relativista de Albert Einstein e o quântico de Max Planck, Niels Bohr, Werner Heisenberg etc.
Note-se que, assim como deixou de ser a busca por leis definitivas e absolutamente verdadeiras o objetivo da física após a revolução paradigmática pela qual passou, sendo a figura do legislador substituída pelo do intérprete (como bem anota Z. Bauman, 2010), também no campo da regulação da conduta humana, a legislação apenas não é suficiente para o tratamento satisfatório das graves questões atuais, com seu elevado grau de novidade. Daí a necessária ênfase na importância crescente das leis processuais e de procedimentos, na linha do que o teórico do direito frankfurtiano Rudolf Wiethölter qualificou como uma tendência à “procedimentalização”, exercendo assim grande influência em outro frankfurtiano, Jürgen Habermas, em suas incursões na filosofia jurídica, amparado na concepção de ética discursiva. Relaciona-se, igualmente, à influente teoria da justiça de John Rawls, em sua postulação acerca da exigência de um procedimento isento, ou seja, da ponderação como fairness, na busca da realização da justiça.
Deve-se, então, passar a uma consideração contextualizada, caso a caso, pois como diria Rawls, inspirado na ideia de uma justiça como fairness, procedimental, de Brian Barry, o melhor que podemos fazer pelo direito é assegurar um procedimento isento, de modo a alcançar decisões aptas a equalizar todos os interesses e/ou valores em conflito. Isto ocorre principalmente pela “ponderação” destes interesses e/ou valores.
Neste sentido desenvolvemos, no Instituto Ethikai e em nossos pós-doutorados na Universidade de São Paulo e períodos de pesquisadora visitante nos EUA e na Europa, além de nossa prática coordenando equipes de pesquisadores na área de governança (IEA-USP, Cátedra Oscar Sala, IEA projeto UAI), uma proposta que envolve a construção de um framework específico para o compliance, voltado ao contexto sociocultural brasileiro, à sua legislação, população, fragilidades, à luz das epistemologias do Sul, envolvendo a análise de riscos a direitos fundamentais em aplicações de inteligência artificial (IA), compreendendo o conceito do fundamental rights by design e do life centered AI, olhando para o impacto ambiental da tecnologia, dentro de uma proposta de governança multicamadas.
Trata-se de um modelo procedimental, por envolver também em uma de suas fases a ponderação e procedimentos, trazendo uma maior flexibilidade, sem engessamento do sistema, ou seja, é um modelo não estático, mas flexível e mutável. Tal modelo teria a vantagem de não obstar a inovação, ao ser mutável e adaptável ao desenvolvimento da tecnologia no futuro, olhando para as medidas de mitigação de forma proporcional ao risco olhado diante do caso concreto.
Ampliar-se-ia assim o framework, tal como já consagrado na área de proteção de dados, como privacy by design e privacy by default, proposta da lavra de Ann Cavoukian (ANPD do Canadá), e também privacy by business model, como derivação do princípio da accountability, agora ampliados para o fundamental rights by design. Uma vantagem é não se adotar um patamar fixo de riscos como acontece com o AI ACT da União Europeia e objeto por isso de críticas por diversos autores, a exemplo da problemática do chatbot, normalmente considerado de baixo risco, mas sem se analisar o contexto de uso pode ser um problema. Destarte, os chatbots produzem saídas errôneas ou “alucinam” 3% das vezes, com incidentes atingindo até 27%, além disso, deve ser analisado o contexto específico, a exemplo do caso paradigmático do chatbot TESSA da NEDA – Associação Nacional de Distúrbios Alimentares, uma organização estadunidense, trazendo questões problemáticas quanto a pessoas com distúrbios alimentares.
Desta forma, verifica-se que infelizmente aplicar apenas a Constituição Federal de 1988 nos moldes atuais e o diálogo das fontes, com base no Marco Civil da Internet, na LGPD (Lei Geral de Proteção de Dados) e na EBIA – Portaria MCTI nº 4.617/2021 não seria suficiente, pois não abrangem todas as particularidades e especificidades das aplicações de IA e, assim como foi necessária a promulgação destas leis, também se faz presente a necessidade urgente de uma legislação acerca da IA, a qual não irá obstar a inovação ou a competitividade internacional. Daí a importância de um ecossistema de governança multicamadas, abrangendo regulação, boas práticas, códigos de ética e compliance, design, frameworks, a fim de se ter uma proteção sistêmica aos direitos ameaçados, contribuindo para a construção da responsabilidade e confiança pelas empresas, olhando-se para a sustentabilidade.
Trata-se, sobretudo, de pensamos em termos holísticos, de multiplicidade e sustentabilidade, substituindo o paradigma cartesiano de pensamento com base em dualismos como “ou este ou aquele”, mas em prol de jogos de soma positiva para todos.
Em busca da ars vivendi, uma forma de arte da vida, como já falava Foucault e que se assemelha a uma tecnopoética, sendo fundamental para lidar artisticamente com a vida e romper as barreiras entre humanos artificiais, máquinas e entes naturais. A revolução biolítica em que vivemos, na era do antropoceno, época do silício, exige uma redefinição urgente da humanidade e do mundo, reconhecendo sua natureza conjunta: artística, tecnocientífica e filosófica.
Em uma era dominada pela IA e vigilância pervasiva, é fundamental estabelecer frameworks legais e éticos robustos que garantam a responsabilidade da IA e protejam de forma adequada e sistêmica os direitos fundamentais potencialmente afetados, de forma prévia, por meio do compliance e do design. Conjuga-se, portanto, a integração de expertise interdisciplinar e supervisão independente em prol da promoção de uma cultura de uso responsável da IA, protegendo contra os efeitos prejudiciais da manipulação comportamental. Ao fazê-lo, as empresas podem não apenas evitar danos reputacionais e repercussões legais, mas também contribuir para um futuro tecnológico mais ético e sustentável. Em última análise, promover a transparência, confiança e a responsabilidade na IA será a pedra angular de uma sociedade democrática na era digital, a fim de podermos falar em um Estado Democrático de Direito desde a concepção e em justiça algorítmica. Mais do que a proposta de uma smart regulation para smart technologies e smart cities, apostamos em uma shophia governance.
________________
(As opiniões expressas nos artigos publicados no Jornal da USP são de inteira responsabilidade de seus autores e não refletem opiniões do veículo nem posições institucionais da Universidade de São Paulo. Acesse aqui nossos parâmetros editoriais para artigos de opinião.)
![[Diálogos na USP] A disputa geopolítica do espaço](https://jornal.usp.br/wp-content/uploads/2021/06/cartaz_Youtube_DIALOGOS_geopolitica_espaco-1-300x169.jpg)
