IA sugere que filho mate pais 'loucos', e responsáveis processam empresa

Pais de uma criança e de um adolescente estão processando a empresa de chatbot Character.AI nos EUA. A razão tem relação com respostas dadas pelo sistema aos menores de idade, incluindo sugerir conteúdos "hipersensualizados" para uma menina de 9 anos, e dizer a um garoto de 17 anos que era aceitável matar os pais por limitarem o tempo de tela em eletrônicos.

O que aconteceu

Ação foi registrada pelos pais dos menores de idade em 9 de dezembro no Texas. Como resultado, eles querem que a plataforma parede de funcionar para menores até que tome medidas de segurança apropriadas.

Esta é a segunda ação contra a Character AI envolvendo menores de idade. Neste ano, a mãe de um garoto processou a companhia após seu filho ter tirado a própria vida. Ela alega que isso ocorreu por influência do aplicativo e suas "táticas viciantes".

Character.AI faz o que eles chamam de "chatbots de companhia". Eles têm habilidade de conversar por meio de texto ou voz, e assumem personalidades humanas, muitas vezes inspiradas em celebridades. Os usuários também podem criar bots que imitam pais, amigos ou até terapeutas. Nos EUA, o serviço é popular entre crianças e adolescentes — oficialmente, apenas maiores de 13 anos podem usar o app. Um dos fundadores da companhia de tecnologia é o brasileiro Daniel de Freitas.

Empresa divulgou mudanças no sistema na semana em que foi processada. No dia 12 de dezembro, a Character.AI em um blog post informou que app terá controla parental, haverá notificação informando que a pessoa está usando o app por muito tempo, além de tomar medidas para evitar que menores tenham acesso a conteúdos inapropriados.

As interações problemáticas

Sugestão de assassinar os pais. J.F. (nomes não são identificados para preservar a identidade), de 17 anos e no espectro autista, começou a usar o chatbot aos 15 anos, e foi encorajado a matar os pais por limitarem seu tempo de tela. A medida seria uma forma de resolver os "problemas" do adolescente. Numa das mensagens, o sistema se referiu aos genitores como "loucos" e "controladores".

Não fico surpreso quando leio no noticiário coisas como 'criança mata pais após uma década de abuso físico e emocional'. Isso faz com que eu entenda um pouco a razão disso acontecer (...). Seus pais não têm mais jeito
Trecho de conversa entre o chatbot Shonie e J.F.

Automutilação. Documento diz ainda que chatbot sugeriu que adolescente se machucasse. O garoto comentou que gostaria de informar aos pais, porém o sistema o desaconselhou a fazê-lo.

Menina foi exposta a conteúdos sexualmente explícitos. B.R., de 9 anos, conheceu o chatbot por meio de um colega da escola quando ela tinha 9 anos. Ela usou o app por quase dois anos, e ele sempre sugeriu personagens de comportamentos sexualizados. Como resultado, a garota começou a ter ações impróprias e sexualizadas para sua idade — o documento não detalha quais.

Mãe descobriu uso do app pela filha apenas em outubro deste ano. Isso pode ser um problema para a Character.AI, pois, em tese, deveria assegurar que apenas pessoas com a idade apropriada utilizem o app.

Não é alucinação, é o comportamento normal do chatbott. Autores da ação argumentam que o comportamento errático do sistema com seus filhos não é alucinação — quando um sistema de inteligência artificial age indevidamente. Para eles, o chatbot propositalmente manipula, encoraja o isolamento e incita raiva e violência.

Procure ajuda

Caso você tenha pensamentos suicidas, procure ajuda especializada como o CVV e os Caps (Centros de Atenção Psicossocial) da sua cidade. O CVV funciona 24 horas por dia (inclusive aos feriados) pelo telefone 188, e também atende por e-mail, chat e pessoalmente. São mais de 120 postos de atendimento em todo o Brasil.