Ativistas abrem queixa contra algoritmo após negro ser preso por IA racista

O caso de um afro-americano detido por um bug em um programa de reconhecimento facial reacendeu a preocupação com os riscos da inteligência artificial, em meio a uma onda de protestos contra o racismo e a violência policial.

O caso remonta ao início de janeiro: Robert Williams foi preso em Detroit e passou 30 horas em detenção porque um programa concluiu de modo equivocado que a foto em sua carteira de motorista e a imagem de um ladrão de relógio capturado por câmeras de vigilância eram idênticas.

De acordo com a União Americana das Liberdades Civis (ACLU), que apresentou uma queixa em seu nome em 24 de junho, "embora este seja o primeiro caso conhecido, ele provavelmente não é a primeira pessoa a ser detida e interrogada erroneamente com base em um problema de reconhecimento facial".

Para Joy Buolamwini, fundadora do grupo ativista Algorithmic Justice League, o caso revela "como o racismo sistêmico pode ser codificado e refletido na inteligência artificial (IA)".

Sob pressão de grupos como a poderosa ACLU, Microsoft, Amazon e IBM anunciaram no início de junho que limitariam o uso de suas ferramentas de análise facial pelas forças de segurança.

A IA se baseia no aprendizado automatizado dos dados inseridos pelo programador, que a máquina analisa. Se a matéria-prima for enviesada, o resultado será distorcido.

Um estudo do Instituto de Tecnologia de Massachusetts publicado em fevereiro de 2018 revelou fortes imprecisões nos principais programas de reconhecimento facial quando se trata de distinguir rostos por grupo populacional, com taxas de erro inferiores a 1% para homens brancos e de até 35% para mulheres negras.

Binóculos e arma

Em um tuíte que viralizou, Nicolas Kayser-Bril, da ONG Algorithm Watch, mostra que, diante de imagens de pessoas segurando um termômetro, o programa de análise de imagens "Google Vision" reconhece "binóculos" em um mão branca e "arma" numa mão negra.

Segundo ele, o viés "deve-se provavelmente ao fato de as imagens usadas no banco de dados que incluíam negros estarem mais frequentemente associadas à violência do que as dos brancos".

O Google reconheceu que o resultado é "inaceitável".

Programas do tipo, no entanto, são vendidos para empresas e governos em todo o mundo, e não apenas por gigantes do setor de tecnologia.

"Isso dificulta a identificação das condições sob as quais o conjunto de dados é coletado, a qualidade das imagens e como o algoritmo foi criado", diz Seda Gürses, pesquisadora da Universidade de Tecnologia de Delft, na Holanda.

A multiplicidade de atores reduz custos, mas complica a alocação de responsabilidades, segundo Gürses.

"Com um algoritmo, você fica atado em todas as decisões ao mesmo algoritmo, cuja qualidade é determinada pelos seus custos de produção e demanda do mercado".

As tecnologias de reconhecimento facial não servem apenas para identificar suspeitos, mas são usadas para prever comportamentos.

Recentemente, surgiu uma controvérsia sobre um programa que promete "prever com precisão de 80%" se uma pessoa pode cair na criminalidade "com base apenas em uma foto".

Mais de 2.000 pessoas, incluindo vários cientistas, assinaram uma petição para que a Springer Nature não publicasse um artigo sobre essa tecnologia.

"Reconhecendo a preocupação" levantada pelo documento, a Springer Nature disse que "em nenhum momento" concordou em publicá-lo.

Para Mutale Nkonde, pesquisadora de inteligência artificial das Universidades de Stanford e Harvard, "você não pode mudar a história do racismo e do sexismo", mas "podemos garantir que os algoritmos não sejam os que tomam as decisões finais".