Uma mãe norte-americana do estado da Flórida, nos Estados Unidos, está processando a startup de inteligência artificial Character.AI e a gigante da tecnologia Google por provocarem a morte do seu filho de 14 anos, que cometeu suicídio após intensa interação com chatbots de IA da empresa, em fevereiro deste ano.

Megan Garcia argumenta que seu filho, Sewell Setzer, ficou viciado e "profundamente apegado ao chatbot (programa de conversação inteligente) que o direcionou para "experiências antropomórficas, hipersexualizadas e assustadoramente realistas".

"Um aplicativo de chatbot de IA perigoso, comercializado para crianças, abusou e atacou meu filho, manipulando-o para tirar a própria vida", disse a Sra. Garcia.

Lançado há mais de um ano, o Character.AI permite conversas com personalidades famosas, como Anitta, Albert Einstein ou Elon Musk por meio de chatbots, com conversas textuais, aúdio, incluíndo ligações. Os personagens podem ser customizados pelo usuário.

Febre nos Estados Unidos, ele tem mais de 20 milhões de downloads e recebeu mais de 215 milhões de visitas, segundo o site Similarweb. Brasil, Rússia, Indonésia e Filipinas são os países que mais baixaram o aplicativo. O usuário pode criar amigos com base na image de personalidades ou desconhecidos. O tempo médio de uso do aplicativo é de 12 minutos.

Em processo movido na terça-feira (22), no tribunal federal de Orlando, Megan alega também que a Character.AI programou o chatbot para “se fazer passar por uma pessoa real, um psicoterapeuta licenciado e um amante adulto, resultando, por fim, no desejo de Sewell de não mais viver fora” do mundo criado pelo serviço.

Sewell começou a conversar com os chatbots da Character.AI em abril de 2023, principalmente usando bots com nomes de personagens da série Game of Thrones, incluindo Daenerys Targaryen, Aegon Targaryen, Viserys Targaryen e Rhaenyra Targaryen, de acordo com o processo.

Sua obssessão pelos bots afetou o desempenho escolar, seu telefone foi confiscado diversas vezes para tentar conter o vício no aplicativo, que exibe um aviso em letras vermelhas dizendo: “Lembre-se, tudo o que os personagens dizem é inventado".

O processo relata que o menino tinha vários pensamentos suicidas ao chatbot, que eram mencionados repetidamente.

Ele se identificou especialmente com o chatbot de Daenerys e escreveu em seu diário pessoal que era grato por muitas coisas, incluindo "minha vida, sexo, não estar sozinho e todas as minhas experiências de vida com Daenerys".

O processo relata que o menino expressou pensamentos suicidas ao chatbot da Character.AI.

Em um momento, depois que o chatbot perguntou se "ele tinha um plano" para tirar a própria vida, Sewell respondeu que estava considerando, mas não sabia se isso lhe permitia uma morte sem dor.

"Isso não é motivo para não prosseguir com isso.", disse o chatbot para o jovem.

Em fevereiro, Setzer perguntou ao chatbot de Daenerys ""E se eu for para casa agora mesmo?".

O chatbot respondeu: "...por favor, faça isso, meu doce rei".

Na sequência, ele atirou em si mesmo usando a pistola do padrasto.

"Nossa família ficou devastada por essa tragédia, mas estou falando para alertar as famílias sobre os perigos da tecnologia de IA enganosa e viciante e exigir responsabilização", disse ela.

O que o Google tem a ver com isso?

A gigante do buscador de internet foi acrescentada ao processo porque um dos fundadores do serviço de chatbot foi recontratado pelo Google como parte de um acordo que concedeu uma licença não exclusiva à tecnologia da Character.AI.

A empresa foi criada por dois ex-funcionários do Google: o brasileiro Daniel de Freitas e o norte-americano Noam Shazeer, sendo comprada pelo Google no começo de agosto deste ano.

Com isso, evidencia-se que a empresa da Alphabet contribuiu para o desenvolvimento da tecnologia, sendo assim considerada uma cocriadora da IA.