Assim, pensar em decolonização é também reconhecer que estamos produzindo conhecimento a partir das nossas experiências no mundo, conhecimentos prévios adquiridos pelas tradições orais, escritas, assim como as histórias não ditas, inscritas no corpo. Como, por exemplo, minha tia-avó Puri procurou esquecer, durante a maior parte da sua vida, que foi para a cidade amarrada numa carroça com as irmãs. E como ela se refere ao povo Puri como algo externo a ela, uma tradição que apenas as irmãs mais velhas tinham tido contato. Antes que afirmações identitárias viessem à tona cobrando prestações de contas do colonialismo, é comum que os ideais de mestiçagem brasileira tenham favorecido a atitude de negação sobre as origens de grupos vencidos, forçados a se separar de sua história e levados à extinção.
Quando as memórias culturais estão inscritas nos corpos, por seus traços, suas cores, assim como a precariedade frente aos modos socioeconômicos que se apresentam como universais e superiores, que significado, por exemplo, terão as histórias de amor romântico exaltadas no século 19 por uma cultura europeia, quando, para se ajustar a tais histórias são necessários os pré-requisitos patrimonialistas que se expressam através de arquiteturas, mobílias, espaços internos e externos que indiquem conforto e privilégios? Casas, panos, etiquetas e cuidados familiares relacionados à cultura e moral trazidas pelo colonialismo são elementos que não fazem parte da história dos africanos separados de sua cultura e linguagem, nem da dos indígenas que sofreram perseguições e genocídios, tampouco dos brancos pobres fugidos da fome na Europa.
Filhos de portugueses como o meu bisavô foram deserdados do pouco que tinham, por se unir a uma mulata que era viúva de um homem negro e, por consequência temos uma parte da família de negros retintos. Dos olhos claros que alguns de nós temos, pergunto-me se a bisavó que se uniu a um indígena, chamada Eufrosina, seria uma Frau Zina (ou algo parecido). Mas como não nos deixaram nomes complicados como a cultura colonial brasileira gosta, apenas imagino que poderiam ser órfãos, estupradores ou piratas.
Assim, quando chegamos à escola aprendemos coisas de culturas alienígenas, e tornamo-nos nós mesmos alienígenas cada vez que suspeitamos de tudo que não se explica ou não parece ser como se diz que é.
Para pensar e pôr em prática a decolonização dentro do julgamento de valores que guiam processos de escolha e decisão, o primeiro ponto é entender que não existem categorias universais até que se debata sobre os possíveis pontos de interseção e consenso entre as variadas culturas que compõem a cultura contemporânea globalizada. Poderíamos por exemplo dizer que “não matarás” será um acordo comum entre todas as culturas.
Mas então como explicar as matanças nas guerras, os genocídios, feminicídios? Matanças diárias de todos os tipos de seres, como de animais para consumo, ou qualquer outro motivo banal, não expressam fielmente os significados de uma cultura de paz. A essa altura é fácil supor que a inteligência artificial (IA) já saiba que, do mesmo modo que as palavras podem mudar de significado de acordo com o contexto, também as regras – como “não matarás” – dependem do contexto. Entretanto, as estatísticas que realizam recortes por métricas como IMC (índice de massa corporal), QI, entre outras siglas, tipos de dietas e tantas outras categorias discriminatórias, pretendem aplicar-se a quaisquer contextos. Lembrando que discriminar não tem sempre o caráter negativo, pois discriminamos o azul do amarelo, o azul da cor do céu do azul da cor do mar, e assim por diante. Porém outras culturas e modos de vida não compartilham dos mesmos sistemas de classificação, discriminação, categorização e organização de informação.
Os conflitos éticos de um mundo pluricultural ficam cada dia mais evidentes quando as tecnologias entram no convívio humano, influindo na sua relação com o tempo, o espaço e na própria imaginação que se tem desse mundo. Elas influem nas perspectivas sobre o presente e o futuro, tensionando as expressões ricas e múltiplas para uma monocultura repetitiva e tecnocrática que reforça a alienação sobre si mesmo, sobre o meio, assim como os acontecimentos passados, presentes e futuros.
A dataficação da vida vem sendo delineada por categorias que se fazem hegemônicas, pois a “dieta perfeita”, “o corpo perfeito”, a “aparência perfeita” se baseiam em quantidades de dados coletados e a disponibilização dos mesmos. Tais dados representam imagens de fontes distintas como peças de propaganda, filmes de Hollywood, e fazem categorias genéricas como “humanos” e “pessoas” aparecerem mais brancas nos resultados dos sites de pesquisa e da IA. E dependendo da atividade relacionada a humanos e pessoas elas também irão representar majoritariamente um gênero específico. Como as atividades de mulheres serão sempre associadas aos cuidados com a casa e as crianças e os homens, com luta e trabalho.
A dataficação da vida irá também representar dados coletados pelas pessoas que começaram utilizar dispositivos capazes de capturar e digitalizar biofeedbacks desde que foram disponibilizados a leigos, ou seja, os dados representam o norte global, desde o topo até suas bases, pelo maior acesso às tecnologias.
Desse modo, desigualdades e injustiças permanecem presentes, ainda que invisíveis, nos dados. Basta pensarmos onde estão as infraestruturas mais robustas onde a digitalização de prontuários iniciou. Pensemos, por exemplo, se as “facilitações” de atendimento do SUS pela via digital serão capazes de chegar a todos os lugares no Brasil. Em alguns casos, levar a internet para regiões onde não há um “mercado de consumidores” torna-se economicamente inviável, ou será a internet considerada uma “necessidade essencial” para o acesso à saúde, educação e cultura?
Entre tantas questões, fato é que mesmo países com grandes infraestruturas e riqueza, como os Estados Unidos, demonstram inconsistências no uso dos dados e da lógica, correlacionando investimentos financeiros em seguro-saúde com os estados de saúde entre pacientes negros e brancos.
O racismo estrutural transborda pelas influências ocultas expressas nas hierarquias sobre que questões científicas priorizar, nas representações dos dados e mesmo das pessoas trabalhando nas pesquisas que irão resultar em coleta, avaliação, organização e algoritmização dos dados.
Portanto, a ideia de que “dados são dados”, ou seja, que “os números não mentem” é falsa. Se grandes amostras de dados não têm informações suficientes para detectar câncer de pele em peles escuras, o sistema que promete maior acesso aos cuidados com a saúde estará melhor representando as pessoas com tipos de pele similares aos dos dados que treinaram o sistema.
Vamos assim compreender que mesmo a ciência que defendemos e confiamos e, mais do isso, investimos através dos pagamentos de impostos em favor do bem comum, está mais bem equipada para atender uma parcela da população. Tomemos outro exemplo: as dificuldades de ajustar e adaptar equipamentos de EEG em cabelos de pessoas negras faz com que a maior parte das amostras das pesquisas não tenham computado as características deste grupo. Outro: se simples oxímetros não apresentam resultados acurados para as peles escuras e estes são aparelhos que geram dados que podem constar em prontuários, assim como fornecer informações para aprendizados de máquina, precisamos então perceber que nenhuma regulamentação sobre a IA que evoque tudo que já foi declarado pela Organização das Nações Unidas sobre os direitos fundamentais desde os anos 1940, ou pela Unesco, ou pelas Leis de Proteção de Dados, seguidas por novas proposições de ajustes e emendas, serão capazes de resolver os problemas da colonização arraigados nas práticas científicas.
Somados aos desafios estruturais que estão sendo apontados apenas na nossa história mais recente, as práticas humanas também demonstram falhas advindas da reprodução de protocolos de maneira acrítica quando as regras com status de ciência e neutralidade possuem autoridade inquestionável fazendo com que as bases de dados, softwares, aplicativos e IA fiquem encapsuladas como representação de alguma verdade que se pretende universal.
Na prática, o que alerta a matemática Cathy O’Neil é que desde que estes sistemas apresentem resultados em termos objetivos e quantitativos, pouco importa quem e como suas decisões estão afetando. Por exemplo, se os algoritmos precisam indicar quem vai para entrevista ou quem será dispensado, eles não precisam de um compromisso com a justiça e com os fatos. Eles podem indicar que um rapaz negro tem um risco criminal maior do que um rapaz branco que cometeu outros crimes.
Não basta, portanto, que a regulamentação diga que o uso da IA não deve ferir a dignidade humana e que não pode ameaçar os valores democráticos. Os algoritmos precisam ser auditados e para tal é necessário que saibamos onde os sistemas de IA estão sendo utilizados, quais são as suas fórmulas e como a população poderá apresentar suas perguntas, queixas e sugestões, seguidas por respostas que apresentem claramente as movimentações destes diálogos.
Na prática algoritmos têm sido utilizados para reforçar sistemas de autoridade onde os softwares fechados chamam profissionais à responsabilidade classificando-os por níveis de produtividade e qualidade, sem que eles sejam chamados à responsabilidade para justificar como chegam à tais conclusões.
Como os algoritmos escondem os preconceitos? Vamos supor, por exemplo, que se as universidades e empresas de maior prestígio no Brasil e no mundo quiserem criar um sistema “inteligente” para determinar uma triagem de candidatos que melhor se “encaixem” em suas instituições, a base de dados que identificará alunos, pesquisadores, professores e empregados de sucesso será feita a partir da história desses lugares. Se ainda hoje em muitos destes lugares há mais homens em posições de poder, em sua maioria brancos, quais serão os dados relativos ao passado? Ou, ainda pior, se os algoritmos de decisão para outras universidades em diversas partes do mundo forem criados e treinados a partir dos dados da Harvard ou Stanford, as sugestões tendenciosas serão ainda mais excludentes e mesmo inapropriadas a depender dos perfis populacionais.
Este é um primeiro ponto onde a base de dados já revela as origens dos problemas quando algoritmos filtram candidatos deixando de fora mulheres e este fator tenderá a se repetir em diversos locais no mundo. E, mesmo que o treinamento seja feito com dados locais, considerando a universidade que queira utilizar tal sistema, um passo seguinte seria observar os pontos elencados para “pontuar” favorável ou negativamente os candidatos, como por exemplo em que escolas os “alunos de sucesso” de décadas passadas estudaram. Em geral tais dados tenderão reafirmar como valor desejável as características apenas acessíveis aos grupos mais privilegiados.
Assim, é importante entender a lógica do algoritmo, ou seja, o que está sendo considerado como informação relevante para a seleção. Por exemplo, seriam considerados o endereço residencial, local de nascença, quanto a pessoa possui no banco e se já entrou com processos na justiça? Ou ainda outros fatores mais íntimos como as comunicações com a família e detalhes do seu histórico de saúde?
Para que saibamos tais fatores em detalhes as “caixas-pretas” precisam ser abertas e, como muitos cientistas de dados têm demonstrado se surpreender com resultados que não conseguem, não querem, ou não podem explicar, agarrar-se aos direitos de patente pode lhes solucionar alguns problemas de uma só vez. Assim, as regulamentações estão abertas às manipulações jurídicas que se contrapõem aos esforços de muitos especialistas que têm se mobilizado em reuniões conjuntas para debater e organizar propostas de governança da IA.
Algoritmos de predição filtram candidatos de potencial sucesso na carreira ou as probabilidades de alguém cometer novas infrações frente ao sistema de justiça. Apenas a lógica demonstra não ser razoável quando ser filtrado para fora por ter mais de seis meses de lacuna nas atividades de trabalho é um fator de maior peso do que as qualificações e experiência de um candidato. Ou, no caso de a justiça dar maior peso à cor da pele porque em grandes números ela significa também um status socioeconômico comum com um maior número de pessoas punidas no sistema penal.
O antropocentrismo, o etnocentrismo, o especismo são nomenclaturas distintas para expressar algo similar: existe um grupo que se coloca no centro das necessidades e acontecimentos, que se crê mais avançado por seus desenvolvimentos técnicos, históricos, econômicos e sociais e que, por fim, se vê especial frente aos demais.
Desse modo, para compreendermos os desafios da decolonização será necessário admitir que a cultura, história e formas de conhecimento do Ocidente compõem uma ideologia que fortalece certos modos de ver, ser e estar no mundo onde não apenas o humano está no centro, mas um certo tipo de humano que, por considerar a sua própria existência mais relevante do que as demais, trabalha com princípios éticos universalizantes – em teoria – mas que aceitam ações discriminatórias na prática.
Tais ações vão considerar, por exemplo, que uma multa aplicada seja baseada não em um princípio universal, ou mesmo no poder aquisitivo de quem comete a infração, mas na renda de quem receberá a compensação. O resultado, inevitavelmente é que se desrespeitar os direitos de pessoas de baixa renda custa menos ao infrator, estes grupos serão mais impactados. Como podemos confiar que um sistema jurídico que funciona nesta lógica será capaz de defender os direitos da população frente aos desafios postos pelos novos desenvolvimentos de inteligência artificial?
A contradição entre teoria e prática é fundada na autoridade que pode julgar, sem que possa ser julgada. A manutenção dos sistemas de autoridade se dá através de práticas micropolíticas que atuam de maneiras invisíveis no cotidiano das instituições de ensino, governos e justiça.
Se a burocracia existe para organizar as instituições através da norma, podendo ser o seu conjunto de regras facilmente transferido para os algoritmos, chegamos a uma situação de crise e transformações culturais em que seres contemporâneos são constantemente desafiados pelas tecnologias que atravessam seus corpos e mentes, influem nos seus modos de ver, sentir e pensar. Neste cenário, o ambiente de pesquisa acadêmica não tem sido capaz de acompanhar a velocidade das revoluções tecnológicas. Este texto, por exemplo, precisou de muitas horas para ser escrito. Foi preciso voltar às lembranças do que foi lido e vivido, assim como revisitar as mais variadas fontes de informação. Levou inclusive mais de um dia, quando foi necessário parar e dar atenção a outros assuntos, deixando o texto em espera para reflexões subliminares entre dinâmicas multitarefas. Trata-se de uma desvantagem competitiva muito grande com a IA, que pode produzir textos curtos em poucos segundos, e textos longos em alguns minutos.
Porém, se a inteligência humana não se compara à velocidade de um computador e sua precisão em cálculos algorítmicos, o que a IA pode entregar, quando o faz com propriedade e acurácia, são os conhecimentos consolidados pelas escolas de pensamento, os conteúdos presentes nas pesquisas publicadas que super-representarão em quantidade os trabalhos advindos de universidades com maior suporte e investimentos em pesquisa e desenvolvimento. Representará, portanto, as perspectivas hegemônicas que, independentemente de seu valor e contribuição científica, refletem alguns vieses de práticas institucionais e metodológicas consolidadas através de sistemas que estruturalmente excluem não apenas a diversidade étnica e de gênero, como também de pensamento, especialmente no campo das “ciências duras”.
Assim como a IA, a inteligência humana se guia por padrões formativos e normativos que se dão através do aprendizado que ocorre tanto pela via metodológica sistematizada quanto pela observação empírica sensorial. Via de regra, no campo do pensamento o mundo dos sentidos é tratado como de menor importância frente a mecanismos que propõem suprimir o viés da intencionalidade humana e sua propensão para (dis)trair-se pelos sentidos que provocam e representam emoções.
Entretanto não é verdade que a racionalidade consiga ser neutra e pura como se destacada das emoções. Apenas para manter-se a destacada protagonista do processo cognitivo e pretensa detentora da verdade a razão se impõe com base na autoridade, transformando-se em dogma e, portanto, disparadora de defesas apaixonadas pela justificativa de sua superioridade frente a outros métodos de conhecer.
A racionalidade, porém, reflete mundos e políticas. Achille Mbembe demonstrou como a razão encontrou seus meios para justificar as barbáries do colonialismo, assim, o que seria irracional dentro de sua própria lógica ganhou contornos de conhecimento em justificativas baseadas nas distinções de valor entre as vidas que importam e as que não importam.
O que a IA não pode fazer é trazer os conhecimentos disponíveis em suas bases de dados ao seu contexto temporal e histórico. O corpo no mundo administra seus sentidos dentro de interrelações em que os discursos e narrativas formais o afetam. Do mesmo modo, as escalas de valor que lhe são impostas, nem sempre consideram a sua presença como elemento contributivo para os resultados dos fenômenos vivenciados.
Assim, há de se agregar aos textos produzidos destinados à produção de conhecimento das mais variadas disciplinas, as descrições densas, etnografias e autoetnografias. Pois apenas estas práticas metodológicas são capazes de distinguir o humano da máquina. Antropologia em seu sentido lato, a ciência do homem – onde podemos reatribuir o significado de ‘ciência do humano’-, tem a capacidade de agregar um novo e necessário protocolo para o ‘teste de autenticidade’ nos textos humanos, desde que os textos da IA já passaram no “teste de Turing“.
Se o debate da decolonização da IA é ainda bastante recente, em 2020, quando estive na Universidade da Califórnia fazendo o doutorado sanduíche, descobri que um grupo de pesquisadores da diáspora africana, residente nos Estados Unidos, se reunia para questionar que lógicas e conceitos sobre o que seria “inteligência” e “artificial” estariam embutidos nestes sistemas computacionais e o quanto eles se distanciavam de outras visões de mundo, como dos territórios indígenas e africanos.
Como mulher brasileira de múltiplas origens étnicas, que nos Estados Unidos significa apenas “pessoa de cor”, sempre procurei fazer jus à multiplicidade cultural herdada investindo em diálogos interculturais, investigando como eles poderão fluir de modo a reescrever a história no cenário contemporâneo. Portanto não foi difícil criar o projeto DecolonizAI como iniciativa pioneira e inovadora no Brasil, partindo do ambiente acadêmico como pós-doc da Cátedra Oscar Sala e conduzindo de maneira experimental pesquisas iniciais para coleta de dados que evidenciam vieses geradores da colonização da imaginação por meio de imagens nos ambientes web e resultados da IA.
As tradições invibilizadas das histórias não contadas das quais sou herdeira tornaram alguns ambientes de conhecimento inóspitos à criatividade necessária para ressignificar espaços. Donna Haraway declarou em seu Manifesto Ciborgue a visão otimista que seríamos capazes de fazer com que “o monstro” do projeto tecnocientífico jogasse a nosso favor, quando a tecnologia poderia assumir seu devir de poiesis – como techné – e tornar-nos seres outros para além das classificações enviesadas da linguagem em sua relação com a cultura. Ou seja, não mais “mulher” ou “negro” ou qualquer outro termo carregado de significados que são depreciados em diversos contextos. Posso dizer que tenho sorte de entender a “fuga identitária” de assumir-se ciborgue pelas habilidades artísticas que muito me facilitaram transcender as adversidades.
Passei a primeira infância em um ambiente semi-rural na Baixada Fluminense, e a simples mudança para um bairro de mentalidade majoritariamente pequeno-burguesa na cidade do Rio de Janeiro, a Tijuca, me tornou uma alienígena com características suficientes para sofrer muitos bullyings em tempos em que não havia discussão sobre os seus impactos. Menciono esta história para ilustrar que mesmo a cultura brasileira ou de um único Estado não se resume apenas como “cultura ocidental”. Para além das heranças ancestrais temos ainda camadas sobrepostas de grupos que se formam por regiões, afinidades específicas entre tribos rurais e urbanas.
Porque bases de dados e modos de treinamento tendem a reforçar exclusões estruturais e a racionalidade dos sistemas, seus métodos e mesmo interfaces técnicas são representativas da visão de mundo colonial. Assim, a concepção de ética é também limitada pela perspectiva branca, europeia. Por este motivo proponho atenção sobre a metaética, o entendimento de que ela existe como crítica a visões que se querem universalizar como padrões dominantes. A metaética que revela ser o conceito de ética tendencioso e limitado, e que convida à atenção das perspectivas de outros grupos e povos não considerados devidamente nos arranjos do contrato social.
Decolonizar a IA, portanto, requer que se façam valer o direito à explicação e transparência dos algoritmos. E mais do que isso, será necessário estabelecer diálogos. Por isto iniciamos um manifesto aberto a contribuições desde a alguns meses. Temos um documento compartilhado que poderá ser disponibilizado para os que desejarem contribuir e entrarem em contato. Decidimos não colher assinaturas pois o único manifesto antes do nosso havia sido um texto que foi fruto de um debate entre um pequeno grupo de pesquisadores estrangeiros que se reuniram durante alguns meses da pandemia de 2020. Nada neste debate é conclusivo e – mesmo para a IA sem preocupações específicas com o mote da decolonização – não se sabe ainda o que deve ser proposto de novo em termos de regulamentação.
Um fator importante a entender é que decolonizar significa questionar os conhecimentos universalizados e universalizantes do mundo ocidental, suas teorias, práticas e métodos. Que os sistemas ético-jurídicos precisam desconstruir-se para que sejam capazes de abrir o debate quanto às lógicas que privilegiam certos modos de existir frente aos sistemas técnicos, sociais, instituições nos espaços de saber, trabalho e representação.
Os avanços rápidos da IA, sem que a sociedade tenha apresentado a capacidade de responder na mesma velocidade com entendimentos consensuais sobre os problemas em questão, têm facilitado o reforço da monocultura que ameaça identidades plurais e diversas.
A decolonização representa também dar voz a perspectivas diferentes das que estão ancoradas na autoridade dos conhecimentos acumulados pela humanidade, ou melhor, do Ocidente. Que seja também entendida como autoridade a experiência e percepção do corpo no mundo, em especial dos corpos herdeiros das identidades suprimidas pelos sistemas de opressão. Em termos práticos isto também representa que o uso da IA não deve ser um imperativo em todas as atividades profissionais, desde que aumenta a exclusão dos que não possuem os mesmos recursos, assim como leva a padronizações que precisam ter seus impactos culturais medidos, informados e discutidos entre todos os envolvidos. Ademais, o alcance do algoritmo deve ser medido não apenas para os que com ele terão contato, mas também para os que ficam à margem das interações humano-algoritmo.
Atente-se também para o fato de que a apropriação dos saberes tirados de seu contexto e “embalados” em formatos que se considera como “padrões superiores” de apresentação de conteúdo é parte de um conjunto de práticas antigas de uma lógica de mercado que rege a cultura, e que com a IA ganha novos contornos. A validação de tais apropriações por um sistema tecno-científico aumenta as distâncias sociais, promove maior exclusão, sendo também capaz de condenar os oprimidos a ficarem confinados aos infortúnios causados por estereótipos e preconceitos.
Se a bioética é pensar a ética sobre a vida e a metaética trata da ética para além das escolas filosóficas e conteúdos canônicos, a bioética interseccional busca evidenciar as perspectivas de grupos que não são – e nunca foram – considerados no protagonismo dos debates éticos formais, desde que estes tendem a pensar na perspectiva do indivíduo e seus conflitos entre a moral e a vontade. A consideração não apenas dos contextos como também a inter-relação entre indivíduos e seu meio faz parte de um paradigma divergente do eurocentrismo.
Finalmente, podemos também elencar alguns riscos urgentes da IA aplicada ao caso brasileiro, como o uso de deepfakes no marketing político. Para mitigar os possíveis impactos negativos é necessária uma ampla campanha de conscientização da população sobre como as manipulações de conteúdo com o uso de tais recursos poderão acontecer.
Sugiro que a comunidade acadêmica, em parceria com governos e organizações independentes da sociedade civil, elabore um relatório que apresente o estado da arte do uso da IA no Brasil por todas as empresas de todos os portes, e todas as instituições de todas as ordens, incluindo os governos. E que se determinem comissões mistas e representativas dos diversos setores sociais, incluindo obrigatoriamente representantes de comunidades com potencial de serem mais impactadas pela IA (seja por inclusão ou exclusão), para auditar os algoritmos, desde a compreensão dos conteúdos das bases de dados até os processos lógicos geradores de resultados finais.
________________
(As opiniões expressas nos artigos publicados no Jornal da USP são de inteira responsabilidade de seus autores e não refletem opiniões do veículo nem posições institucionais da Universidade de São Paulo. Acesse aqui nossos parâmetros editoriais para artigos de opinião.)
