Algoritmo racista: Twitter detalha como sua IA privilegia brancos em fotos

O Twitter reconheceu publicamente o que muitas pessoas na rede social já desconfiavam: o mecanismo de inteligência artificial (IA) que recortava imagens postadas na plataforma privilegiava pessoas brancas.

Em post divulgado no seu blog oficial, a diretora de engenharia de software da empresa, Rumman Chowdhury, reconheceu o erro ao compartilhar os resultados de um experimento interno que avaliou o funcionamento do algoritmo.

Desde o início de maio, o Twitter não usa mais o algoritmo racista de recorte de fotos em seu aplicativo para Android e iOS, que agora mostra as imagens postadas pelo usuário sem cortes.

Relacionadas

Efeito de algoritmos racistas pode ser mais devastador do que você imagina

Após ter algoritmo acusado de racismo, Twitter muda recorte de fotos

Receba notícias de Tilt no WhatsApp e no Telegram

O que rolou

Em outubro do ano passado, pessoas na rede social viralizaram a tese de que, ao "cortar" uma imagem com pessoas de diferentes raças para um quadro de pré-visualização no feed, o algoritmo do Twitter preferia mostrar pessoas brancas.

As denúncias repercutiram tanto que levaram a empresa a conduzir um experimento interno com o sistema, conhecido como algoritmo de saliência.

Quando uma pessoa posta uma foto no Twitter, o algoritmo de saliência cria um quadro de visualização que destaca automaticamente um trecho da imagem, de uma forma que mostre seu conteúdo mais significativo.

Esse recorte é feito por uma inteligência artificial treinada para destacar aquilo que ela acha que uma pessoa gostaria de ver primeiro na imagem, determinando o que seria enquadrado na pré-visualização.

O que o Twitter descobriu

Nos últimos meses, o Twitter decidiu investigar para comprovar se seu algoritmo é mesmo racista ou não. O teste consistia em fazer o sistema reconhecer rostos de pessoas brancas e pretas em um banco de imagens aleatório criado para o experimento, com fotografias de indivíduos brancos e pretos, homens e mulheres.

Se o algoritmo fizesse suas escolhas de forma igualitária, não haveria diferença em quantas vezes cada cor e gênero ganhariam destaque. Mas não foi bem isso o que aconteceu.

O experimento interno do Twitter identificou padrões de potencial racista e sexista no seu algoritmo de recorte de fotos em quatro cenários:

• Ao destacar elementos de uma imagem, há uma diferença geral de 4% na paridade demográfica que favorece pessoas brancas em detrimento de pessoas negras;
• Ao comparar fotografias de mulheres pretas e brancas, o algoritmo mostrou 7% mais brancas;
• Entre os homens negros e brancos, a diferença foi de 2% para os brancos;
• Ao selecionar homens e mulheres, o algoritmo preferiu destacar as mulheres em 8% dos casos.

Após realizar o experimento, o próprio Twitter reconheceu que há falhas no algoritmo, e que, em uma imagem com muitas pessoas, não há uma "solução ideal" para identificar qual seria o verdadeiro destaque.

"Mesmo que o algoritmo de saliência fosse ajustado para refletir com igualdade perfeita entre gênero e raça, nos preocupamos com ofensas de representação de algoritmos automatizados quando pessoas não podem ser representadas da forma que queiram na plataforma. O algoritmo também apresenta potencial de ofensas no seu escopo de análise, inclusive insensível a nuances culturais", reconhece Chowdhury.

De acordo com a empresa, as descobertas do experimento serviram para desenvolver melhorias no sistema de destaques em imagens do Twitter, que já começaram a ser implementadas progressivamente nos sistemas Android e IOS desde o início do mês.

Se as mudanças surtirem efeito, em breve as pessoas poderão escolher manualmente o que destacar em um quadro de visualização ou mesmo optar que a imagem seja mostrada integralmente no feed, sem nenhum tipo de recorte.