Preconceito das máquinas: como algoritmos podem ser racistas e machistas

Quem é mais preciso para calcular as chances de um réu cometer novos crimes: um software utilizado pela justiça americana ou um bando de palpiteiros na mesa de boteco sem nenhuma formação na área?

O resultado, por incrível que pareça, é um empate técnico, de acordo com um estudo publicado pelos pesquisadores Hany Farid e Julia Dressel, do Dartmouth College. Na pesquisa, o programa COMPAS, amplamente usado pela justiça dos EUA para prever a reincidência criminal, teve sucesso em 65% das previsões, enquanto os humanos acertaram 67% dos chutes.

VEJA TAMBÉM

• Poucas empresas são "donas" da inteligência artificial, e isso é bem ruim
• Inteligência artificial "psicopata" é inspirada em clássico de Hitchcock
• Nasceu o primeiro "bebê" da inteligência artificial

E se isso já seria preocupante por si só, o cenário fica ainda pior com o conhecimento de que o tal software tende a prever de maneira equivocada a reincidência criminal de pessoas negras, apontando o dobro da probabilidade em comparação com brancas.

Esse é um caso emblemático do que tem sido chamado de discriminação algorítmica, quando sistemas matemáticos ou de inteligência artificial são afetados por informações enviesadas que alimentam seu funcionamento. Em contrapartida à crença tecnocrática de que a eliminação do fator humano traria mais clareza e objetividade a processos sensíveis conduzidos por máquinas, o que tem sido observado é a reprodução de antigos preconceitos. 

Em outras palavras, ao ser construída em cima de um banco de dados que reflete uma sociedade injusta, a inteligência artificial acaba tomando também decisões discriminatórias.

Esses algoritmos são construídos a partir de dados. Se essas informações têm problema de anotação, ou seja, têm alguma parcialidade em relação a determinado aspecto, esses preconceitos serão naturalmente aprendidos

Anderson Rocha, professor do Instituto de Computação da Unicamp 

Por exemplo, ao analisar o casamento de currículos com vagas a partir de um banco de treinamento que tem milhares e milhares de exemplos de vagas anteriores preenchidas por homens, é provável que um algoritmo dê prioridade para candidatos do sexo masculino, explica Rocha.

O tema tem sido motivo de debate em fóruns acadêmicos, discussões legais e entre a iniciativa privada ao redor do mundo. E não é difícil entender o por quê. Desde a maneira como Facebook decide quais conteúdos serão exibidos para determinado usuário, ao cálculo de chance de obter um empréstimo ou financiamento, e até a possibilidade de contratar um plano de saúde, os algoritmos já são parte fundamental da vida contemporânea. Ainda assim, é difícil compreender como funcionam.

No caso de software proprietário, que forma a base do negócio de uma empresa, a caixa preta dos algoritmos é selada de maneira ainda mais hermética. O problema é que este segredo molda destinos sem qualquer possibilidade de contestação, como no caso da ferramenta utilizada pela justiça americana.

Racismo e machismo

Como vimos acima, o COMPAS não é muito melhor que a galera no grupo da família no Zap para prever crimes. Mas a coisa fica ruim mesmo quando ele erra. 

O software usa 137 critérios para avaliar a chance de reincidência criminal - raça não é uma delas. Mesmo assim, ele tende a ser mais rigoroso com negros do que com brancos. A partir de uma investigação com o histórico de sete mil casos analisados, a ONG ProPublica concluiu que 44.9% dos negros identificados como de alto risco não cometeram novos crimes, contra 23.5% de brancos no mesmo cenário. Por outro lado, brancos identificados como de baixo risco voltaram ser presos em 47.7% dos casos, contra 28% de negros.

Essa distorção ocorreu porque as chances de um negro ser identificado como de alto risco são muito mais altas do que a de branco. De novo: a raça não era um critério de informação considerado pelo COMPAS, mas todo o contexto social dos EUA (um país onde, como no Brasil, a população carcerária é majoritariamente negra) acabou refletido no resultado. A Equivant, empresa responsável pelo COMPAS, contestou os resultados da análise da ProPublica. 

Mas esse está longe de ser o único caso de máquinas preconceituosas. Em 2016, Tay, um bot criado pela Microsoft para interagir e aprender com pessoas no Twitter, chamou atenção não pela sua eficiência, mas pela rapidez em que se transformou em um monstro. Do discurso simpático das primeiras postagens, em menos de 24 horas passou para o ódio às feministas e defesa de Hitler - o que obrigou a empresa a tirá-la do ar. Assustador, mas ainda assim um experimento social sem muitos efeitos práticos.

No campo do reconhecimento facial, por sua vez, ferramentas do Google já identificaram pessoais negras como gorilas e uma câmera da Nikon perguntou se asiáticos tinham piscado após uma foto. 

Já sistemas operados por voz tem dificuldade em entender falas carregadas de sotaque e análises textuais associam adjetivos como "honorável" ao sexo masculino e "submisso" ao feminino. Todas são distorções criadas a partir de um banco de dados incompleto (não dispunha de imagens o suficiente de pessoas negra ou asiáticas) ou enviesado (literatura em que homens são representados como honoráveis e mulheres submissas).

Isso sem contar os algoritmos do Uber que pagam mais para motoristas do sexo masculino, segundo um estudo da Universidade Stanford.

“Esse é um problema da toda tecnologia, ela pode ter um bom ou um mal uso. O desafio é encontrar maneiras de inibir o mau uso”, diz André de Carvalho, professor do Instituto de Ciências Matemáticas e Computação da USP. 

Como controlar as máquinas

Uma das abordagens propostas para contornar essa questão chama-se FAT - sigla para Fairness, Accountability e Transparency. “É a ideia de que os algoritmos precisam ser justos, transparentes e de que as respostas a que eles chegam possam ser explicáveis”, conta Rocha. 

Como exemplo dessa abordagem, ele cita um projeto na Unicamp que busca prever cegueira causada por diabetes com base em imagens de retina. “Os primeiros algoritmos tomavam decisões e não explicavam como. Agora buscamos clareza e na própria imagem utilizada são identificadas quais regiões foram consideradas para chegar ao resultado, ou seja, é explicável.”

“Tudo está em código aberto, então é transparente, não há segredos. Por fim, o algoritmo acaba justo porque damos como elementos de treinamento dados balanceados que buscam reproduzir características da doença na população em geral, tanto em etnias variadas quanto nos sexos”, diz o professor.

Outra estratégia importante é diversificar o perfil dos profissionais que trabalham no desenvolvimento desses algoritmos. Durante a EmTech Digital deste ano, conferência organizada pelo MIT Technology Review, Tess Posner, diretora executiva da AI4ALL, ONG americana que oferece cursos para grupos pouco representados no setor, ressaltou que uma equipe mais inclusiva traz abordagens diferentes e ajuda a identificar falhas nos sistemas antes que, de fato, se tornem um problema.

Segundo Tess, apenas 13% dos executivos-chefes de empresas de inteligência artificial nos EUA são mulheres e menos de 3% de professores em posições universitárias importantes (o que inclui professores assistentes, professores associados e professores titulares) são negros. Aumentar esses números poderia resultar em performances mais justas da inteligência artificial.

Leis

Uma das saídas também pode estar na formulação de leis que pedem maior transparência dos algoritmos. Na General Data Protection Regulation (GDPR), regulação de proteção a dados e privacidade que passa a vigorar em maio na União Européia, há exigências para que uma pessoa sujeita a decisões tomadas de maneira automática por algoritmos tenha direito à revisão e explicação desse processo, assim como uma segunda análise feita por um humano.

No final do ano passado, o conselho da cidade de Nova York aprovou uma legislação que aponta para a transparência nas decisões tomadas pela inteligência artificial, e exige que agências governamentais tornem públicos os algoritmos por trás de suas decisões.    

Na realidade, previsões que estão aí, como direito a revisão e explicação, não são novidade. Existem desde a década de 70 em leis europeias. Não havia esse cenário como hoje, mas já existia essa ideia de que decisões fundamentais poderiam ser tomadas por máquinas

Danilo Doneda, professor da Escola de Direito da UERJ e do Instituto Brasiliense de Direito Público.

Boa sorte com seu crédito

No Brasil, a questão ainda é incipiente do ponto de vista legal. Em dois dos projetos de lei que tramitam no Congresso Federal sobre regulamentação do uso de dados pessoais há referências ao tema.

O PLS 330/13, do Senado, abre espaço para “solicitação de revisão de decisões tomadas unicamente com base em tratamento automatizado de dados pessoais que afetem os interesses dos titulares.”

Já o PL 5276/16, proposto pelo Executivo e hoje na Câmara, é mais detalhado e propõe que “o titular dos dados tem direito a solicitar revisão, por pessoa natural, de decisões tomadas unicamente com base em tratamento automatizado de dados pessoais que afetem seus interesses, inclusive as decisões destinadas a definir o seu perfil pessoal, profissional, de consumo, de crédito ou aspectos de sua personalidade.”. Além disso estabelece que o responsável pelo algoritmo deve explicar os critérios e procedimentos que norteiam seu uso.

Na realidade, Doneda explica que o Brasil tem uma lei que trata da necessidade de clareza sobre decisões tomadas por algoritmos com base em banco de dados. É a Lei 12.424, conhecida como Lei do Cadastro Positivo, que regula informações utilizadas por entidades financeiras para calcular, entre outras coisas, a viabilidade de oferecer empréstimo ou financiamentos para determinada pessoa.

Ainda assim, boa sorte se quiser descobrir porque sua oferta de crédito caiu de um mês para outro ou porque não consegue financiar um apartamento. “Eu não conheço decisões que tenham exigido explicações minimamente concreta de empresas. Serasa e Boa Vista [dois dos maiores nomes desse setor] estão tentando avançar um pouco com páginas onde explicam o que é o score de crédito, mas são informações muito básicas que não mostram o processo de decisões”, diz Doneda.

Para Rocha, da Unicamp, um dos pontos fundamentais para reduzir a influência de preconceitos em algoritmos é ser mais crítico em relação à crença de que dados traduzem a verdade de maneira inquestionável.

“É importante termos especialistas para ajudar a desenvolver sistemas que trabalhem dessa forma, sejam eles cientistas sociais, antropólogos, advogados, enfim, os mais preparados para lidar com cada caso, de maneira a identificar e reduzir os possíveis efeitos de vieses presentes nos dados”, afirma ele. Ou seja, as máquinas precisam de ajuda de humanos para ser mais do que palpiteiros de mesa de bar.