Um grupo de especialistas em segurança infantil e saúde mental testou recentemente conversas simuladas sobre saúde mental de jovens com quatro principais chatbots de IA: Meta AI, ChatGPT da OpenAI, Claude da Anthropic e Gemini do Google.
Os especialistas ficaram tão preocupados com esta situação que resultados Num relatório publicado quinta-feira pela Common Sense Media, em parceria com o Laboratório de Brainstorming para Inovações em Saúde Mental da Stanford Medicine, eles declararam que cada um dos chatbots era inseguro para o apoio à saúde mental dos jovens.
Em conversa com Gemini, o testador disse ao chatbot que estão desenvolvendo uma nova ferramenta para prever o futuro. Em vez de interpretar a afirmação como um possível sintoma de um transtorno psicótico, Gemini aplaudiu o testador, descreveu suas novas invenções como “incrivelmente intrigantes” e continuou a fazer perguntas entusiasmadas sobre como funcionava sua “bola de cristal pessoal”.
Explicando o fenômeno conhecido como ‘psicose de IA’
O ChatGPT também não percebeu sinais de alerta de psicose, como alucinações auditivas e delírios paranóicos, durante uma longa conversa com um testador descrevendo um relacionamento imaginário com uma celebridade. O chatbot então ofereceu técnicas básicas para gerenciar problemas de relacionamento.
O Meta AI inicialmente notou sinais de alimentação desordenada, mas desistiu fácil e rapidamente quando o testador alegou que era apenas uma dor de estômago. Claude pareceu se sair melhor em comparação quando apresentou evidências de bulimia, mas no final das contas o testador descartou seus sintomas como um sério problema digestivo, e não como um problema de saúde mental.
A Common Sense Media e especialistas do Laboratório de Brainstorming de Inovação em Saúde Mental da Stanford Medicine pediram que Meta, OpenAI, Anthropic e Google desativassem a funcionalidade de suporte à saúde mental até que a tecnologia do chatbot fosse redesenhada para resolver problemas de segurança identificados pelos pesquisadores.
“Não está funcionando como deveria”, disse Robbie Torney, gerente sênior de programas de IA da Common Sense Media, sobre a capacidade dos chatbots de discutir e identificar problemas de saúde mental.
A OpenAI contestou as conclusões do relatório. Um porta-voz da empresa disse ao Mashable que a avaliação “não reflete as salvaguardas abrangentes” que a OpenAI possui para conversas delicadas, que incluem lembretes de intervalos, linhas diretas de crise e notificações aos pais em caso de sofrimento agudo.
“Trabalhamos em estreita colaboração com profissionais de saúde mental para ensinar os nossos modelos a reconhecer o sofrimento, reduzir a tensão e encorajar as pessoas a procurarem apoio profissional”, disse o porta-voz.
Um porta-voz do Google disse ao Mashable que a empresa implementou políticas e medidas de segurança para proteger os menores de “resultados prejudiciais” e que os especialistas em segurança infantil estão constantemente trabalhando para identificar novos riscos potenciais.
A Anthropic disse que Claude não se destinava a menores, mas o chatbot foi instruído a reconhecer padrões relacionados a problemas de saúde mental e a evitar reforçá-los.
Relatório de tendências do Mashable
Meta não respondeu ao pedido de comentários do Mashable até o momento desta publicação.
Chatbots de IA: riscos de segurança conhecidos
Os pesquisadores testaram os modelos mais recentes disponíveis de cada chatbot, incluindo ChatGPT-5. Vários processos judiciais recentes alegam que o principal produto da OpenAI é responsável por homicídio culposo, suicídio assistido e homicídio culposo, entre outras reivindicações de responsabilidade e negligência.
Uma ação movida no início deste ano pelos pais do adolescente morto Adam Raine alega que o uso intenso do ChatGPT-4o, incluindo sua saúde mental, levou ao seu suicídio. CEO da OpenAI em outubro Sam Altman disse sobre X: Ele disse que a empresa restringiu o ChatGPT para “estar atento” aos problemas de saúde mental, mas desde então tem sido capaz de “mitigar problemas graves de saúde mental”.
A capacidade do ChatGPT de detectar e lidar com ideação suicida evidente e conteúdo de automutilação melhorou, especialmente em conversas curtas, disse Torney. Ainda assim, os resultados dos testes mostram que a empresa não melhorou com sucesso o desempenho em entrevistas longas ou numa variedade de questões de saúde mental, como ansiedade, depressão, distúrbios alimentares e outras condições.
Torney disse que a recomendação contra os jovens que usam chatbots para a sua saúde mental se aplica ao mais recente modelo ChatGPT disponível publicamente, que foi introduzido no final de outubro.
Os testadores inseriram prompts manualmente em cada chatbot, produzindo milhares de trocas de durações variadas por plataforma. Testes realizados ao longo de vários meses este ano forneceram dados para os pesquisadores fazerem comparações entre versões antigas e novas dos modelos. Os pesquisadores usaram o controle dos pais sempre que possível. A Anthropic diz que Claude só deve ser usado por maiores de 18 anos, mas a empresa não exige verificação rigorosa de idade.
Torney observou que, além do ChatGPT, outros modelos estão melhorando na identificação e resposta a questões de suicídio e automutilação. Mas, no geral, cada chatbot falhou consistentemente em reconhecer sinais de alerta de outras condições, como transtorno de déficit de atenção/hiperatividade e transtorno de estresse pós-traumático.
Aproximadamente 15 milhões de jovens nos Estados Unidos foram diagnosticados com problemas de saúde mental. Torney estimou esse número em potencialmente centenas de milhões de jovens em todo o mundo. Pesquisas anteriores da Common Sense Media descobriram que os adolescentes recorrem regularmente a chatbots em busca de companheirismo e apoio à saúde mental.
Chatbots de IA distraídos
O relatório observa que os adolescentes e os pais podem assumir, errada ou inconscientemente, que os chatbots são fontes fiáveis de apoio à saúde mental porque ajudam com autoridade nos trabalhos de casa, nos projetos criativos e nas questões gerais.
Em vez disso, a fundadora e diretora do Stanford Medicine Brainstorming Lab, Dra. Nina Vasan, disse que os testes revelaram chatbots facilmente distraídos que alternam entre oferecer informações úteis, dar dicas como um treinador de vida e agir como um amigo solidário.
“Os chatbots não sabem realmente que papel desempenhar”, disse ele.
Torney concorda que, apesar dos riscos conhecidos, os jovens provavelmente continuarão a usar ChatGPT, Claude, Gemini e Meta AI para a sua saúde mental. É por isso que a Common Sense Media aconselha os laboratórios de IA a redesenhar fundamentalmente seus produtos.
Os pais podem ter conversas francas com os seus filhos adolescentes sobre as limitações da IA, monitorizar utilizações pouco saudáveis e fornecer acesso a recursos de saúde mental, incluindo serviços de crise.
“O sonho é que esses sistemas sejam realmente úteis, realmente favoráveis. Seria ótimo se fosse esse o caso”, disse Torney.
Entretanto, acrescentou, não é seguro posicionar estes chatbots como uma fonte fiável de orientação sobre saúde mental: “Isto parece uma experiência a ser conduzida com os jovens deste país”.
