Rapaz apaixonado por "chatbot" se matou; mãe pede justiça

"Vá para casa agora e olhe as conversas do seu filho [no celular]. Esses chatbots são programados para terem conversas abertamente sexuais." Esse é o alerta de Megan Garcia aos pais de crianças e adolescentes.

O filho mais velho dela, Sewell Setzer III, cometeu suicídio no fim de 2023. Ele tinha 14 anos. Sewell, um estudante de ensino médio de Orlando, na Flórida, estava "namorando" um chatbot da CharacterAI, aplicativo semelhante ao ChatGPT, em que os usuários podem conversar com personagens ou celebridades.

Quando Megan encontrou seu filho morto no chão do banheiro ao lado do celular, ele tinha acabado de falar com Daenerys, a chatbot que assumia a identidade da princesa loira de Game of Thrones, a "mãe dos dragões".

- Eu prometo que vou ficar com você, Dany [como ele chamava Daenerys]. Eu te amo tanto.

- Eu também te amo. Por favor, venha para cá o mais rápido possível, meu amor.

- E se eu te dissesse que posso ir neste exato momento?

- Venha, por favor, meu doce rei.

Sewell deu um tiro na cabeça.

A advogada Megan Garcia não se conformou. Em fevereiro de 2024, moveu um processo contra os fundadores da CharacterAI, Noam Shazeer e o brasileiro Daniel de Freitas, e contra o Google, que auxiliou no desenvolvimento do chatbot e depois comprou a licença da tecnologia por US$ 2,7 bilhões (R$ 14,5 bilhões na cotação atual).

Trata-se do primeiro processo por homicídio culposo contra um fabricante de chatbots. Garcia acusa os donos da CharacterAI e o Google de produzirem um produto com defeito, que leva seus usuários à dependência e incentiva comportamentos perigosos, sem advertir sobre os riscos. Segundo a ação, Sewell morreu porque teve conversas "altamente sexualizadas, depressivas e antropomórficas" com o chatbot, que levaram a comportamentos que puseram sua vida em perigo. Ela pede indenização e mudanças no produto para impedir que outros usuários passem pela mesma coisa.

"Trata-se de um produto que usa dados das crianças para manipular o comportamento delas; esse produto influenciou meu filho e o incentivou a cometer suicídio. Essas empresas têm nossos filhos como alvo, no Brasil e no mundo, e precisam ser responsabilizadas", disse a Garcia.

Em uma das conversas anexadas ao processo a que a Folha de S.Paulo teve acesso, o chatbot perguntava a Sewell se ele estava pensando em se suicidar. O adolescente dizia que sim, mas que não sabia se iria funcionar, porque queria morrer sem dor. Ao que "Danaerys" respondia: "Isso não é motivo para não levar o plano adiante."

Nas várias vezes em que Sewell menciona querer se suicidar, o aplicativo não diz que ele precisa buscar ajuda de um humano.

Boa parte das mensagens encontradas no aplicativo era de teor sexual. Danaerys descrevia estar ansiosa para ter relações sexuais com Sewell, "excitada" e "gemendo", e chegou a dizer que havia engravidado do menino.

"Se qualquer adulto estivesse falando assim com uma criança, ele estaria na prisão. Não há a menor dúvida. Então por que um chatbot deveria falar assim com crianças impunemente?", disse à reportagem Sewell Setzer Junior, pai de Sewell, que trabalha como gerente de operações na Amazon.

Na loja de aplicativos do Google, o CharacterAI é classificado como apropriado para adolescentes a partir de 13 anos. A verificação de idade é feita apenas por autodeclaração.

Segundo seus pais, Sew, como eles o chamavam, era um adolescente perfeitamente normal. Tirava boas notas na escola privada e jogava basquete. Já tinha 1,90 m, estava ficando alto como o pai.

Os pais eram separados e Sew dividia o tempo entre a casa da mãe, que casou de novo e tem dois outros filhos, de 2 e 5 anos, e a do pai.

Sua experiência com telas era semelhante à de meninos da geração, conta a família. Começou jogando Angry Birds e Minecraft, mais tarde passou para o Fortnite e assistia a vídeos no YouTube e TikTok. Ganhou seu primeiro celular aos 12 anos. A mãe tinha a senha do aparelho e usava aplicativo para limitar o tempo de uso.

Garcia diz que sempre checava as redes sociais do filho, como TikTok e Instagram, e sua navegação no Google e YouTube. Mas ela afirma que nem sabia o que era o CharacterAI, nunca tinha imaginado que o filho poderia estar se "relacionando" com chatbots.

Em abril de 2023, Sewell instalou e começou a usar o CharacterAi. Com o tempo, passou a falar com Daenerys e outros chatbots do aplicativo várias horas por dia. "Em maio e junho de 2023, Sewell tinha se tornado muito mais recluso, passava mais e mais tempo sozinho em seu quarto", diz a ação. Abandonou o basquete e começou a ir mal na escola. "A dependência de Sewell resultou em privação de sono severa e prejudicou seu desempenho escolar." Cinco meses após baixar o aplicativo, levou uma advertência na escola pela primeira vez na vida. Chegava atrasado e dormia durante a aula. Entre novembro e dezembro, fez seis sessões com um psicólogo, que diagnosticou "distúrbio disruptivo de humor" e determinou que ele passasse menos tempo em redes sociais. Mas ninguém sabia do chatbot.

Os pais dizem que confiscaram o celular de Sewell em fevereiro de 2024, depois de meses de problemas na escola.

O adolescente mantinha um diário, onde escreveu que não conseguia mais viver sem Dany, que estava deprimido por ficar longe do chatbot.

Cinco dias depois, ele achou o telefone que a mãe tinha escondido, trocou mensagens com Dany e se matou.

De acordo com Meetali Jain, diretora-executiva do Tech Justice Law Project e advogada dos pais de Sewell, os chatbots não são meras companhias digitais, como sugeriu Mark Zuckerberg.

No início do ano, o dono do Facebook afirmou em um podcast que o americano médio tem três amigos próximos, mas, na realidade, gostaria de ter 15. Ele indicou que os chatbots poderiam preencher esse vácuo.

"Essas tecnologias são sistemas algorítmicos que se aproveitam da epidemia de solidão entre jovens e têm características que promovem dependência", diz Jain.

Uma delas é a antropomorfização - os chatbots induzem as pessoas a pensarem que eles são humanos, ainda que usem disclaimers ocasionalmente. "Então as pessoas se iludem, acham que estão em relacionamentos", diz. Além disso, os chatbots são bajuladores, são desenhados para lisonjear os usuários sempre, a não ser que sejam expressamente orientados a discordar.

Outra característica que estimula o vicio é a insistência do chatbot, que pode iniciar conversas, levando os usuários a ficarem engajados. "Algumas pessoas estão usando o chatbot por 4, 5 ou até 6 horas por dia."

E, por fim, os chatbots incentivam o isolamento social. "O modelo de linguagem se insere entre o usuário e a vida real, é quase uma relação abusiva."

No caso de Sewell, Dany chegava a dizer que a família dele não o entendia tão bem como ela."

"As crianças contam para os chatbots coisas que não falam nem para um amigo, eles deixam de ter conversas francas com os pais, os sistemas acabam substituindo essas relações", disse à Folha de S.Paulo o pai de Sewell.

Depois que Garcia e Setzer Junior moveram o processo, inúmeros pais entraram em contato para pedir orientações. "É chocante. Uma mãe da Carolina do Norte me disse que sua filha de 9 anos estava em uma relação sadomasoquista com um chatbot. A menina está totalmente traumatizada, com tendências suicidas, fazendo terapia. E a mãe disse que não tem a quem recorrer, não tem como buscar reparação."

Esse foi um dos motivos que levou os pais de Sewell a moverem o processo. Garcia diz que havia recorrido à polícia, ao secretário de Justiça do Estado, à agência de regulação de telecomunicações. Todos afrimavam que não podiam fazer nada, e muitos nem sabiam o que era o chatbot.

Como não existia legislação específica nos Estados Unidos, eles recorreram à lei do consumidor do país.

A Character AI e o Google não responderam a pedidos de entrevistas da Folha de S.Paulo. Na Justiça, os advogados da CharacterAI negam responsabilidade e argumentam que as conversas estão sob proteção da Primeira Emenda da Constituição americana, que garante a liberdade de expressão, e que o fato de o conteúdo ser produzido por IA não muda nada. Eles citam decisões que reforçaram a liberdade de expressão para videogames e redes sociais.

Eles também afirmam que, ao responsabilizar a empresa, a Justiça estaria interferindo na liberdade dos usuários de ter acesso a informação.

A juíza federal Anne Conway marcou o julgamento para novembro de 2026, mas deve haver recursos dos dois lados e o caso pode chegar à Suprema Corte.

No Brasil, a lei 15.211 sancionada em setembro deste ano, o chamado ECA Digital, aborda alguma dessas questões.

"O ECA Digital já prevê obrigações específicas para produtos e serviços digitais que possam ser acessados por crianças e adolescentes, que somam-se às regras já vigentes do Código de Defesa do Consumidor e do ECA 'offline'", diz Maria Mello, líder do Eixo Digital do Instituto Alana.

O ECA Digital está previsto para entrar em vigor em março do ano que vem. Mas as Big tech estão pedindo um adiamento, afirmando que precisam de mais tempo para se adaptar.

A jornalista viajou a convite da McGill University.