'Deepfakes' da Taylor Swift: novas tecnologias são usadas contra mulheres

Imagens sexualmente gráficas "deepfake" de Taylor Swift se tornaram virais nas mídias sociais nas últimas semanas, alimentando a condenação generalizada dos fãs da cantora, os "Swifties", do público em geral e até mesmo da Casa Branca.

Esse problema não é novo. Swift é uma das muitas celebridades e figuras públicas, principalmente mulheres, que foram vítimas de pornografia deepfake nos últimos anos. Exemplos deste tipo atraem muita atenção da mídia, mas a natureza cada vez mais sofisticada da Inteligência Artificial (IA) significa que qualquer pessoa pode ser alvo.

Embora existam sérias preocupações sobre as implicações mais amplas dos deepfakes, é importante lembrar que a tecnologia não é a causa do abuso. Ela é apenas mais uma ferramenta usada para perpetuá-lo.

Deepfakes e outras mídias manipuladas digitalmente

Os deepfakes sexualmente explícitos de Swift apareceram em várias plataformas de mídia social nas últimas semanas, incluindo o X (antigo Twitter), Instagram, Facebook e Reddit.

A maioria das principais plataformas proíbe o compartilhamento de mídia sintética e digitalmente manipulada que cause danos, confusão ou engano, incluindo pornografia deepfake. Isso inclui imagens criadas por meios mais simples, como software de edição de fotos. No entanto, um deepfake que retratava Swift foi visto 47 milhões de vezes em um período de apenas 17 horas antes de ser removido do X.

Há um longo histórico de tecnologias, aplicativos e serviços digitais usados para facilitar a violência de gênero, inclusive assédio sexual, agressão sexual, violência doméstica ou familiar, abuso no namoro, perseguição e monitoramento e discurso de ódio.

Dessa forma, nosso foco também deve ser abordar as normas e crenças problemáticas de gênero que geralmente sustentam esses tipos de abuso.

O surgimento dos deepfakes

As origens dos deepfakes podem ser rastreadas até novembro de 2017, quando um usuário do Reddit chamado "deepfakes" criou um fórum e um software de edição de vídeo que permitia que os usuários treinassem seus computadores para trocar os rostos de atores pornográficos pelos rostos de celebridades.

Desde então, houve uma expansão maciça de sites e tópicos dedicados a deepfakes, bem como de aplicativos que podem criar deepfakes personalizados gratuitamente ou mediante pagamento.

No passado, a criação de um deepfake convincente geralmente exigia muito tempo e conhecimento, um computador potente e acesso a várias imagens da pessoa que estava sendo visada. Hoje, praticamente qualquer um pode criar um deepfake, às vezes em questão de segundos.

Os danos do pornô deepfake

Nem todas as aplicações de imagens geradas por IA são prejudiciais. Você já deve ter visto deepfakes virais engraçados, como as imagens do Papa Francisco em uma jaqueta. Ou, se você assistir ao último filme do Indiana Jones, verá Harrison Ford "rejuvenescido" 40 anos graças à IA.

Dito isso, os deepfakes geralmente são criados para fins maliciosos, incluindo desinformação, cyberbullying, abuso sexual de crianças, extorsão sexual e outras formas de abuso sexual baseado em imagens.

Um relatório publicado pela startup Home Security Heroes estimou que havia 95.820 vídeos deepfake on-line em 2023, um aumento de 550% desde 2019.

Quando se trata de pornografia deepfake, as mulheres, em particular, são desproporcionalmente visadas. De acordo com o DeepTrace, 96% de todos os deepfakes on-line são vídeos falsos não consensuais de mulheres. Em sua maioria (mas não exclusivamente) são atores e músicos conhecidos.

Isso é preocupante, mas não surpreendente. Pesquisas mostram que o abuso on-line afeta desproporcionalmente mulheres e meninas, especialmente mulheres indígenas, mulheres de origem migrante e lésbicas, gays, bissexuais, transgêneros e intersexuais.

As figuras públicas, em particular, enfrentam taxas mais altas de abuso on-line, especialmente mulheres e pessoas com diversidade de gênero. Um estudo constatou que as celebridades são mais indevidamente culpadas do que as pessoas que não são celebridades pelo abuso que recebem on-line, e esse abuso geralmente é visto como menos grave.

Pesquisas mostram que o abuso baseado em imagens pode resultar em danos significativos para as vítimas, inclusive ansiedade, depressão, ideação suicida, isolamento social e danos à reputação. Para figuras públicas, os deepfakes e outras formas de abuso on-line também podem resultar em diminuição das perspectivas de carreira, afastamento da vida pública e resultados negativos para a saúde mental.

Em 2016, as fotos da ativista australiana e defensora de reformas na legislação Noelle Martin foram retiradas da mídia social e sobrepostas a imagens pornográficas. Martin relatou ter se sentido "fisicamente doente, enojada, com raiva, degradada e desumanizada" como resultado. As imagens de Martin alteradas digitalmente e deepfakes continuam a circular on-line sem seu consentimento.

Como responder à pornografia deepfake

Qualquer pessoa pode ser alvo de deepfakes. Tudo o que é necessário é uma imagem do rosto de alguém. Até mesmo imagens de trabalho profissional podem ser usadas.

Embora as reformas na legislação por si só não resolvam esse problema sociojurídico, elas podem sinalizar que a questão está sendo levada a sério. Precisamos de leis que visem especificamente pornografia deepfake não consensual.

Na Austrália, há crimes de abuso sexual baseados em imagens em todos os estados e territórios, exceto na Tasmânia, bem como em nível federal. Entretanto, somente algumas leis mencionam especificamente imagens alteradas digitalmente (incluindo deepfakes).

As empresas de tecnologia também poderiam fazer muito mais para detectar e moderar proativamente a pornografia deepfake. Elas precisam priorizar a incorporação de abordagens de "segurança por design" em seus serviços desde o início. Isso pode significar

• projetar e testar a IA tendo em mente possíveis usos indevidos;
• usar marcas d'água e outros indicadores para rotular o conteúdo como sintético;
• "cutucar" os usuários para que se abstenham de determinados comportamentos (como o uso de pop-ups para lembrá-los da importância do consentimento).

A pesquisa mostra que há lacunas no entendimento público sobre deepfakes e como detectá-los. Isso destaca ainda mais a necessidade de letramento digital e educação sobre a diferença entre usos consensuais e não consensuais de imagens íntimas e os danos da pornografia deepfake não consensual.

Por fim, e talvez o mais importante, precisamos abordar as desigualdades sistêmicas subjacentes que contribuem para o abuso facilitado pela tecnologia contra mulheres e pessoas de gênero diverso. Isso inclui o reconhecimento da pornografia deepfake como o problema de gênero que ela é - tanto para celebridades quanto para não celebridades.

*Nicola Henry é Professora e Pesquisadora do Conselho de Pesquisa Australiano no Centro de Estudos Sociais e Globais da Universidade RMIT e Alice Witt é Pesquisadora Associada no Centro de Estudos Sociais e Globais da Universidade RMIT.

Este artigo foi republicado do The Conversation sob uma licença Creative Commons. Leia o artigo original.