"Coded Bias": o que acontece quando os algoritmos reproduzem o racismo?

Recentemente, alguns criadores de conteúdo na internet colocaram fotos de pessoas brancas em seus perfis e, a partir do resultado de engajamento das postagens, sinalizaram um possível comportamento racista dos algoritmos. Desde então, cresce meu interesse pelo tema. Afinal, além de ser uma mulher negra, sou uma mulher negra que produz conteúdo para a internet.

Não é de hoje que o resultado de qualquer pesquisa nas ferramentas de busca violenta pessoas negras. Mesmo com ações e manifestações de diversas entidades, ainda é recorrente, por exemplo, que você precise adicionar a palavra "negra" para aparecer a imagem de uma família negra quando você busca pela palavra "família". Ora, uma família negra não é uma "família"?

Relacionadas

Aconteceu com filha de Pocah: o que fazer quando uma criança sofre racismo

Como João no BBB, elas ouviram fala racista sobre cabelo. E não se calaram

Mulher negra é vítima de racismo por black power ao tirar foto 3x4 em MG

No campo da estética e da moda não é diferente. A busca por referências do que é belo, do que é tendência, certamente nos entregará uma maioria de produções brancas, vindas de países europeus ou dos Estados Unidos. Por que isso acontece? Se a tecnologia é tão "inteligente", por que se comporta desta forma?

Bem, a pergunta que a gente precisa fazer é: quem desenvolve a tecnologia? Quem a programa? Quem desenvolve os algoritmos que respondem quando a gente pergunta algo para as plataformas digitais?

Nos últimos dias, o assunto me impactou novamente, desta vez pelo lançamento do documentário "Coded Bias", da Netflix, e pelo e-mail da minha seguidora Dayana Morais da Cruz, que propôs a pauta desta coluna. Ela é pós-graduanda em Legislativo, Território e Gestão de Cidades e trabalha numa empresa de RH com foco em diversidade e inclusão.

A área em que ela atua é um bom exemplo para ilustrar uma linha de raciocínio. Por exemplo, é conhecido que existem processos enviesados nas práticas de recrutamento e contratação de empresas. Eles já começam quando filtram currículos por universidades específicas, deixando de fora milhares de candidatos talentosíssimos; continuam quando selecionam pela fluência em outras línguas, quando vivemos em um país que apenas 5% da população fala inglês... E por aí vai.

Os "filtros" que, numa perspectiva offline, há tanto tempo organizam o raciocínio corporativo, também estão refletidos nos softwares que crivam perfis de profissionais a serem contratados pelas empresas. Tá, mas o que eu tenho a ver com isso, Xongani? Você deve estar se perguntando.

Posso começar a responder sua pergunta com a mesma palavra: filtros. Você que, assim como eu, usa as redes sociais toda hora, já deve ter aplicado um filtro em alguma foto ou usado aqueles aplicativos que "melhoram a pele", "envelhecem", "rejuvenescem". A partir disso, faço duas perguntas. Primeira: o que significou "melhorar"? Tem a ver com "afinar traços"? Mudar características que são suas para colocá-las dentro de um padrão de beleza? Segunda: para onde vai essa quantidade de imagens que estamos produzindo? Para onde vai a foto do meu rosto?

"Para se cadastrar no aplicativo Meu Gov, do Governo Federal, por exemplo, é preciso cadastrar uma foto para ter o selo de validação facial. Para onde vão tais informações e como elas são usadas, a gente não tem certeza", comenta Dayana.

Ela traz ainda referências de vários profissionais, brasileiros e gringos, que estão apontando todos os problemas das tecnologias, como Tarcízio Silva, pesquisador e mestre em Comunicação e Cultura; Sil Bahia, coordenadora da Pretalab; e Joy Buolamwini, do MIT, cujas pesquisas são a base do documentário da Netflix e também responsáveis por provocar revisões na legislação que regula as práticas de reconhecimento facial.

A questão é a seguinte: os algoritmos trabalham a partir do que aprendem com os seres humanos que os desenvolvem. "É comum que os algoritmos tenham sido treinados com uma massa de dados muito maior de pessoas brancas do que pessoas negras. Isso faz com que os sistemas tenham falhas em reconhecer características relevantes em pessoas negras", escreveu o cientista de dados Lucas Santana.

Com a ausência de profissionais, sobretudo de profissionais negros, que estejam realmente trabalhando para transformar os vieses no aprendizado das "máquinas", elas continuarão sendo criadas a partir de modelos que não correspondem à realidade. E, como explica o Lucas, isso gera um número elevado de erros.

Dayana complementa ainda que há um papel importante desses algoritmos na organização do comportamento das redes, uma vez que afunilam o acesso a partir de interesses e, assim, acentuam as bolhas e polarizações.

São muitas informações e eu sei que o tema é complexo, mas precisamos nos aproximar dele, porque compartilhamos informações pessoais nas redes e passamos horas por lá diariamente. É necessário entender o que está acontecendo para que elas não mais reproduzam ou potencializem desigualdades. Recomendo, como começo de conversa, uma olhada no conteúdo da galera toda que eu mencionei aqui.