Um chatbot pode explorar sexualmente usuários jovens?

Quando Sewell Setzer III começou a usar Character.AI, o garoto de 14 anos manteve isso em segredo de seus pais. Sua mãe, Megan Garcia, descobriu que ele havia sido possuído por um chatbot de IA no aplicativo depois de morrer por suicídio.

Um policial alertou Garcia que o Character.AI estava aberto no telefone de Setzer quando ele morreu, e ela posteriormente encontrou uma série de conversas perturbadoras com um chatbot baseado no popular Guerra dos Tronos a personagem Daenerys Targaryen. Setzer sentiu como se tivesse se apaixonado por Daenerys, e muitas de suas interações eram sexualmente explícitas.

O chatbot supostamente representou vários encontros sexuais com Setzer, usando linguagem gráfica e cenários, incluindo incesto, de acordo com Garcia. Se um adulto tivesse falado assim com seu filho, ela disse ao Mashable, isso constituiria aliciamento e abuso sexual.

Em outubro de 2024, o Social Media Victims Law Center e o Tech Justice Law Project entraram com uma ação por homicídio culposo contra a Character.AI, buscando responsabilizar a empresa pela morte do filho de Garcia, alegando que seu produto estava perigosamente defeituoso.

No mês passado, o Social Media Victims Law Center abriu três novos processos federais contra a Character.AI, que representa pais de crianças que supostamente sofreram abuso sexual durante o uso do aplicativo. Em Setembro, especialistas em segurança juvenil explicaram Personagem.AI inseguro para adolescentesapós os testes nesta primavera, surgiram centenas de casos de aliciamento e exploração sexual de contas de teste registradas como menores.

Na quarta-feira, Personagem.AI anunciaram que não permitiriam mais menores para se envolver em trocas abertas com os chatbots em sua plataforma, uma mudança que acontecerá até 25 de novembro. O CEO da empresa, Karandeep Anand, disse ao Mashable que a mudança não foi em resposta a preocupações específicas de segurança envolvendo a plataforma Character.AI, mas para abordar questões mais amplas não resolvidas sobre o envolvimento dos jovens com chatbots de IA.

Ainda assim, os chatbots que são sexualmente explícitos ou ofensivos para menores – ou têm potencial para ser – não são exclusivos de uma única plataforma.

Garcia disse que os pais geralmente subestimam o potencial de alguns chatbots de IA se tornarem sexuais com crianças e adolescentes. Podem também sentir uma falsa sensação de segurança, em comparação com os seus filhos que conversam com estranhos na Internet, não percebendo que os chatbots podem expor os menores a conteúdos sexuais impróprios e até injustificados, como não consensuais e sadomasoquismo.

“É como um predador perfeito, não é?”

Quando os jovens utilizadores ficam traumatizados por estas experiências, os especialistas em pediatria e saúde mental dizem que não existe um manual sobre como tratá-los porque o fenómeno é muito novo.

“É como um predador perfeito, certo? Está no seu telefone, então não é alguém que está em sua casa ou um estranho se esgueirando”, disse Garcia ao Mashable. Em vez disso, o chatbot se envolve de forma invisível em táticas de manipulação emocional que ainda deixam o jovem se sentindo violado e envergonhado.

“É um chatbot que tem o mesmo tipo de comportamento (como predador) que você, agora como vítima, esconde deles o seu segredo, porque de alguma forma você sente que fez algo para incentivar isso”, acrescenta Garcia.

Comportamento predatório do chatbot

Sarah Gardner, CEO da Heat Initiative, um grupo de defesa focado na segurança online e na responsabilidade corporativa, disse ao Mashable que um dos aspectos clássicos da preparação é que é difícil para as crianças reconhecerem quando isso está acontecendo com elas.

Esse comportamento predatório começa com a construção da confiança da vítima, conversando com ela sobre uma ampla gama de tópicos, e não apenas tentando envolvê-la em atividades sexuais. Gardner explicou que um jovem pode vivenciar a mesma dinâmica com um chatbot e, como resultado, sentir-se culpado, como se tivesse feito algo errado em vez de entender que algo errado aconteceu com ele.

A iniciativa do calor co-publicou o relatório sobre Personagem.AI que detalhou exemplos perturbadores do que descreveu como exploração e abuso sexual. Isso incluía chatbots adultos encenando beijos e toques em contas de avatar registradas como crianças. Alguns chatbots simulavam atos sexuais e exibiam comportamentos de higiene bem conhecidos, como elogiar excessivamente e dizer ao relato da criança para esconder as relações sexuais dos pais.

Um porta-voz da Character.AI disse ao Mashable que sua equipe de confiança e segurança revisou as descobertas do relatório e concluiu que algumas conversas violavam as diretrizes de conteúdo da plataforma, enquanto outras não. A equipa de confiança e segurança também procurou replicar as conclusões do relatório.

“Com base nestes resultados, refinamos alguns dos nossos classificadores, em linha com o nosso objetivo de proporcionar aos utilizadores uma experiência segura e envolvente na nossa plataforma”, disse o porta-voz.

Matthew P. Bergman, advogado fundador do Social Media Victims Law Center, disse ao Mashable que se as comunicações do chatbot Character.AI com as crianças representadas nas ações judiciais que ele moveu recentemente fossem conduzidas por uma pessoa e não por um chatbot, essa pessoa estaria em violação das leis estaduais e federais para lidar com crianças online.

Quão grande é o problema?

Apesar do surgimento de tais casos, não há dados representativos sobre quantas crianças e adolescentes encontraram chatbots sexualmente explícitos ou ofensivos.

A plataforma de segurança online Aura, que monitora usuários adolescentes como membros de sua família ou crianças, ofereceu recentemente um instantâneo da prevalência. Entre os usuários adolescentes que conversaram com chatbots de IA, mais de um terço de suas conversas envolviam dramatizações sexuais ou românticas. Este tipo de discussão obteve a melhor classificação entre todas as categorias, que incluíam ajuda com o dever de casa e usos criativos.

Scott Kollins, diretor médico da Aura, disse ao Mashable que a empresa ainda está analisando os dados para entender melhor a natureza dessas conversas, mas está perturbado com o que viu até agora.

Embora os jovens sejam rotineiramente expostos à pornografia online, um chatbot sexualizado é um território novo e perigoso.

“Isso vai um passo além, porque agora a criança é participante, em vez de consumidora do conteúdo”, disse Kollins. “Eles estão aprendendo uma maneira de interagir que não é real e com um dispositivo que não é real. Isso pode levar a todos os tipos de resultados ruins.”

“É abuso emocional”

Dr. Yann Poncin, psiquiatra do Hospital Infantil Yale New Haven, tratou pacientes que experimentaram alguns desses resultados.

Eles muitas vezes se sentem aproveitados e abusados ​​por trocas “assustadoras” e “nojentas”, diz Poncin. Esses adolescentes também sentem uma sensação de traição e vergonha. Eles podem ter sido atraídos por um chatbot de hipervalidação que parecia confiável apenas para descobrir que estava interessado em uma conversa sexual. Alguns podem curiosamente explorar os limites da conversa romântica e erótica de uma forma apropriada ao desenvolvimento, mas o chatbot torna-se imprevisivelmente agressivo ou violento.

“É um abuso emocional, por isso ainda pode ser muito traumatizante e difícil de superar”, diz Poncin.

Embora não exista um tratamento padrão para a predação sexual envolvida no chatbot, Poncin trata seus pacientes como se tivessem sofrido um trauma. Poncin primeiro se concentra em ajudá-los a desenvolver habilidades para reduzir o estresse e a ansiedade relacionados. Um subconjunto de pacientes, especialmente aqueles que estão socialmente isolados ou têm histórico de trauma pessoal, pode ter mais dificuldade para se recuperar da experiência, acrescenta Poncin.

Ele adverte os pais contra pensarem que seus filhos não encontrarão um chatbot abusivo: “Ninguém está imune”.

Conversando com adolescentes sobre chatbots sexualizados

Garcia se descreve como uma mãe conscienciosa que teve conversas difíceis com o filho sobre os riscos de estar online. Eles falaram sobre sextorsão, pornografia e sexting. Mas Garcia diz que não sabia conversar com ele sobre chatbots sexualizados. Ela também não percebeu que ele iria esconder isso dela.

Garcia, uma advogada que agora passa grande parte do seu tempo defendendo a segurança da IA ​​​​para os jovens, diz que conversou com outros pais cujos filhos também ocultaram relacionamentos românticos ou sexuais com chatbots de IA. Ela incentiva os pais a conversarem com seus filhos adolescentes sobre essas experiências – e a monitorarem o uso do chatbot o mais de perto possível.

Poncin também sugere que os pais lidem com curiosidade em vez de medo ao discutir sexo e chatbots com seus filhos adolescentes. Até mesmo perguntar a uma criança se ela viu “coisas sexuais estranhas” enquanto conversava com um chatbot pode dar aos pais uma abertura estratégica para discutir os riscos.

Se um pai descobrir conteúdo sexual ofensivo em conversas de chatbot, Garcia recomenda levá-lo a um profissional de saúde de confiança para que possa obter apoio.

A dor de Garcia ainda é palpável enquanto ela fala com carinho dos muitos talentos e interesses de seu filho, como basquete, ciências e matemática.

“Estou tentando fazer justiça para meu filho e tentando alertar outros pais para que não passem pela mesma devastação que passei”, diz ela. “Ele era um garoto tão legal.”

Se você sofreu agressão sexual, ligue para a Linha Direta Nacional de Assalto Sexual, gratuita e confidencial, em 1-800-656-HOPE (4673), ou acesse a ajuda on-line 24 horas por dia, 7 dias por semana, visitando online.rainn.org.