Jovem tira a própria vida após se apaixonar por personagem criado por IA
Nos Estados Unidos, um jovem se suicidou após de apaixonar por personagem imitado pela Inteligência Artificial. A mãe do garoto, Megan Garcia decidiu então processar a startup de inteligência artificial Character.AI e o Google.
Clique e siga o Canaltech no WhatsApp Estudo revela conexão entre uso de mídias sociais e suicídio entre adolescentes Assédio e discurso de ódio: pesquisa revela o que jovens encaram no metaverso
Megan alega que o filho tirou a própria vida em fevereiro de 2024, aos 14 anos, e acusa a empresa de homicídio culposo (quando não há intenção de matar), negligência e imposição intencional de sofrimento emocional.
Segundo ela, no processo movido em um tribunal federal de Orlando, a Character.AI direcionou seu filho para “experiências antropomórficas, hipersexualizadas e assustadoramente realistas”.
–
Entre no Canal do WhatsApp do Canaltech e fique por dentro das últimas notícias sobre tecnologia, lançamentos, dicas e tutoriais incríveis.
–
Na plataforma, o garoto conversava com um chatbot que imitava a personagem Daenerys Targaryen, de Game of Thrones. Na interação com o programa, ele se envolveu amorosamente e teve conversas de cunho sexual, além de confidenciar a ele suas ideações suicidas.
De acordo com Megan, o jovem começou a usar o Character.AI em abril de 2023 e se tornou “visivelmente retraído”, abandonando projetos e companhias da vida real.
O que diz a Character.AI
Em um comunicado publicado na terça-feira (22), a Character.AI afirma que “leva a segurança de nossos usuários muito a sério” e que novas medidas de segurança foram implementadas nos últimos seis meses, incluindo proteções para usuários menores de 18 anos.
“Também implementamos recentemente um recurso pop-up que é acionado quando o usuário insere certas frases relacionadas à automutilação ou suicídio e o direciona para o National Suicide Prevention Lifeline [instituição de prevenção ao suicídio]”, diz o comunicado, ao listar os novos mecanismos de segurança.
A Character.AI também afirmou que faria mudanças na tecnologia para reduzir a probabilidade de que usuários com menos de 18 anos “encontrem conteúdo sensível ou sugestivo”.
Já o Google afirmou, por meio de um porta-voz, que a empresa não esteva envolvida no desenvolvimento dos produtos da Character.AI.
Leia a matéria no Canaltech.