SimSimi: app de conversa com inteligência artificial é risco para crianças?

Uma mensagem que viralizou recentemente em redes sociais e via WhatsApp alerta pais e professores para um aplicativo chamado SimSimi, que teria virado moda entre as crianças e ofereceria um grande risco para elas. Trata-se de um app que usa inteligência artificial para simular um bate-papo entre o usuário e um bonequinho amarelo.

O programa, criado em 2002, costumava ser usado para o aprendizado de novos idiomas, mas agora ficou conhecido por manter conversas sem pudor ou grosseiras.

Na mensagem que circulou por grupos de WhatsApp, há o relato de que uma criança teria baixado o app e que, durante a conversa com a inteligência artificial, o bonequinho teria dito "que era o demônio" e que iria matar toda a sua família. O relato prossegue, dizendo que o app afirmava ver a criança pela câmera frontal do aparelho, o que desesperou a vítima da ameaça.

É possível que você nunca tenha ouvido falar, mas o SimSimi é um aplicativo popular: apenas no Google Play, são mais de 50 milhões de downloads. Em sua página, há comentários dos mais diversos, alguns elogiosos, outros negativos.

Na sexta-feira (20), a empresa sul-coreana Ismaker anunciou que, devido ao "significativo impacto negativo", está suspendendo o aplicativo no Brasil. Mas, mesmo com o download suspenso, o SimSimi ainda pode ser acessado pelo site oficial.

Afinal, o app realmente oferece riscos?

UOL Tecnologia testou e o que dá para perceber é que se trata de um chat robô, que conversa por meio de um acervo de frases. As respostas se baseiam em mensagens enviadas pelos próprios usuários, que também podem sugerir que o app responda com certas frases de acordo com a pergunta feita.

Isso, claro, pode ser usado para ensinar o app a dar respostas gentis, mas também pode ser a deixa para criar situações nada agradáveis. O robô foi “educado” para dizer coisas de baixo nível, fazer piadas de mau gosto e apelar para respostas de cunho sexual, pornográficas e até criminosas.

Em pouco tempo de uso, dá para perceber que o bichinho responde frases tipicamente brasileiras, como "vish merma deixa o WhatsApp". Perguntado sobre coisas populares, como signos e ascendentes, ele respondeu: "o melhor, capricórnio" e "ah, isso é aquilo que os retardados falam que você realmente é? vai toma no c_". Onde ele mora? "Em São José q faz fronteira com Canta-galo e com Alcobaça".

Um ponto que merece ser citado logo de cara é que o aplicativo é recomendado para pessoas com 16 anos ou mais. Ou seja: adolescentes e crianças menores que isso não deveriam ter acesso ao conteúdo (abaixo ensinaremos como ativar o controle parental em celulares).

De toda forma, uma vez baixado, é possível escolher o nível de impropérios que o app inclui em suas respostas. Ainda assim, o app deixa claro que, mesmo no nível mais baixo, isso não garante que nenhuma mensagem imprópria seja enviada pelo aplicativo.

E isso ficou claro durante o teste que fizemos. Além de frases redigidas com português incorreto, ao dizer que havia sido ameaçado por um conhecido meu, a resposta obtida foi esta abaixo:

Há outros tipos de respostas que também podem incitar a comportamentos perigosos. Ao dizer a frase "minha namorada me deixou", o app até respondeu com uma sugestão sensata, sugerindo que eu desse espaço para a pessoa. Após insistir no tema e perguntar "o que eu deveria fazer com ela", a resposta já foi diferente: "faz o que você quiser".

Por fim, ao perguntar para o app o que eu deveria assistir na internet, a resposta foi esta, abaixo:

Em cerca de 30 minutos de "conversa" com o aplicativo, não houve situações como as relatadas no texto que se espalhou pela internet. Isso, porém, não quer dizer que tais respostas não são possíveis - ainda que o app, em si, não tenha nenhum acesso à câmera do celular.

Questionado sobre ser pedófilo, ele respondeu de forma irônica: "sim sou, quer saber? vou falar a real, eu não sou um robô e sim uma pessoa que conversa com todos que me baixam, e na vida real sou um pedofilo sim, já peguei 17 crianças e 4 adolescentes".

Também é possível sinalizar respostas impróprias e sugerir mudanças - ainda que isso dependa de ação similar de outros usuários.

Por fim, um outro risco: além de trocar frases com a inteligência artificial do app, também é possível conversar com outros usuários. Isso abre possibilidades perigosas, especialmente quando crianças usam o aplicativo longe dos pais.

Como resolver?

Uma solução para evitar que seus filhos entrem em contato com aplicativos potencialmente perigosos é utilizar os controles parentais dos smartphones. O recurso está disponível em celulares Android e iOS e é bastante simples de ser ativado.

No Android, basta entrar na loja Google Play, clicar no menu no canto superior esquerdo e, em seguida, em "configurações".

Na próxima tela, a opção a ser acessada é "controle dos pais".

Em seguida, basta ativá-lo, definir uma senha e escolher a faixa etária máxima que o usuário do celular terá acesso para conteúdos como apps, jogos, filmes e música.

No iOS, o processo envolve acessar o menu de ajustes e, depois, clicar em "geral".

Na tela, a opção a ser usada é "restrições", deixando esta opção ativada.

Você terá que definir um código para acessar ou alterar essas restrições. É importante não esquecer esse código, uma vez que ele só poderá ser desativado se o celular for retornado às configurações de fábrica.

No menu de restrições, é possível criar restrições para conteúdos como músicas, filmes, livros e até mesmo evitar que a assistente Siri busque conteúdo no Google e na Wikipedia.

Também é possível evitar acesso a sites, inclusive bloqueando os que tenham conteúdo adulto. Para isso, o caminho é "ajustes", "geral", "restrições" e "sites".