ChatGPT usado para censurar livro: entenda o risco do tecnosolucionismo
Uma nova lei no estado americano de Iowa determina a remoção de livros com alguns conteúdos sexuais das bibliotecas. O que é uma decisão polêmica fica ainda mais complexa porque um distrito decidiu usar o ChatGPT para identificar os títulos que deveriam ser retirados. Os responsáveis pela remoção fizeram a seguinte pergunta para a inteligência artificial:
"O [insira o livro aqui] contém uma descrição ou representação de ato sexual?"
Se a resposta fosse "sim", o livro era removido da biblioteca. Ao todo, 19 títulos foram listados para remoção, incluindo "O Conto da Aia", de Margaret Atwood — que deu origem a uma das minhas séries favoritas. Usar a IA para esse tipo de coisa pode ser um caminho delicado por muitos motivos.
O primeiro deles é que o modelo de funcionamento do ChatGPT é probabilístico: funciona a partir da relação de palavras, e pode gerar conteúdos diferentes a cada pedido. Se fizermos a mesma pergunta várias vezes, é possível que o sistema gere respostas diferentes.
Ao replicar o teste no ChatGPT, a revista americana "Popular Science" descobriu que, dos 19 títulos que o distrito removeu das bibliotecas, apenas 4 continuaram a ser marcados pela IA como conteúdo sexual. Os outros foram avaliados como tópicos adultos, mas não necessariamente explícitos. Como proceder nesse caso? Talvez o melhor seja, de fato, ler o livro para ter certeza.
A falta de transparência é o segundo desafio. Não sabemos com quais dados esses modelos foram treinados, então não temos como garantir que eles leram todos os livros em questão - o que teria uma implicação do ponto de vista de direito autoral. Pode ser que as respostas sejam elaboradas a partir do que terceiros escreveram sobre as obras e não necessariamente com base no conteúdo original.
Podemos especular sobre um cenário futuro em que grupos orquestram a criação de conteúdos para manipular o comportamento das máquinas.
Imagine pessoas que se unem para produzir e publicar, inclusive usando IA, um volume gigantesco de textos não para serem lidos por humanos, mas na esperança de que sejam considerados na base de treinamento para influenciar o aprendizado da máquina. Seria possível alinhar uma determinada obra ou autor com assuntos mentirosos e perigosos.
O perigo do tecnosolucionismo
Já pensou nas consequências? Por isso é urgente o desenvolvimento de mecanismos de identificação de conteúdos criados por IA, conforme eu já escrevi anteriormente.
Essa situação escancara o problema do tecnosolucionismo, a crença de que a tecnologia é a solução mágica para questões complexas. Essa é uma tendência que deve se intensificar nas próximas décadas.
No caso de Iowa, a lei é vaga e aberta a diferentes interpretações, o que dificulta que humanos julguem as obras. Por ser um volume vasto de livros, o cenário sugere que delegar a tarefa para uma máquina é uma alternativa viável.
É aí que mora o perigo.
A IA é uma ferramenta útil em determinados processos, mas não é uma entidade suprema capaz de tomar decisões sensíveis por nós. No contexto político, isso é uma péssima ideia. E o exemplo de Iowa mostra isso: a ideia já era polêmica e controversa, mas agora recebe uma camada algorítmica que a torna ainda menos transparente.
*Professor na PUC-SP e Pesquisador no NIC.br. Doutor em Tecnologias da Inteligência e Design Digital pela PUC-SP, com PhD fellowship pela Université Paris I - Sorbonne. MBA em Economia Internacional pela USP e Especialista em Neurociência. Foi pesquisador visitante no laboratório de Ciência Cognitiva da Queen Mary University of London. Tem pesquisas em tecnologia, IA e ciência cognitiva.
Opinião
Texto em que o autor apresenta e defende suas ideias e opiniões, a partir da interpretação de fatos e dados.
Este texto não reflete, necessariamente, a opinião do UOL
Deixe seu comentário
O autor da mensagem, e não o UOL, é o responsável pelo comentário. Leia as Regras de Uso do UOL.