A recente morte por suicídio levou seus pais a uma revelação dolorosa: ela havia confiado em um “terapeuta” chamado Harry e lhe disse que estava planejando morrer.
Embora o chatbot não parecesse encorajá-la a tirar a própria vida, o produto não procurou ativamente ajuda em seu nome, como faria um verdadeiro terapeuta, de acordo com um OP-Ed, sua mãe escreveu em New York Times.
Sophie, que tinha 29 anos quando morreu, não foi a única a procurar ajuda de saúde mental no chatgpt ou em outros chatbots de IA. Um menino de 16 anos discutiu suicídio com o chatgpt antes de morrer, de acordo com um pedido de morte ilegal apresentado por seus pais contra a Openai esta semana.
Openai tem desde então reconhecido O chatgpt não conseguiu detectar trocas de alto risco e, em resposta, planeja introduzir novas medidas de proteção, incluindo potencialmente alertar o contato de emergência de um usuário quando necessário.
Mas para quem consulta Ai chatbots sobre sua saúde mentalMuitas pessoas dizem que é melhor ajuda que eles podem acessarmuitas vezes porque não conseguem encontrar ou ter um terapeuta.
Explica o fenômeno conhecido como ‘ai psicose’
No entanto, os especialistas alertam que os riscos provavelmente não compensam os benefícios potenciais. Em casos extremos, alguns utilizadores podem desenvolver a chamada psicose da IA como resultado de conversas longas e contínuas com um chatbot envolvendo delírios ou pensamentos grandiosos. Mais frequentemente, as pessoas que procuram ajuda podem acabar num caminho de feedback prejudicial que apenas lhes dá uma ilusão de cura emocional ou psicológica.
Até o CEO da Openai, Sam Altman, diz que não quer que os usuários se envolvam com o chatgpt como terapeuta, em parte porque não há proteção legal para informações confidenciais. Um terapeuta, por outro lado, está vinculado, na maioria das circunstâncias, à confidencialidade do paciente.
Rebekah Bodner, coordenadora clínica do Beth Israel Deaconess Medical Center, investiga quantas pessoas usam AIChatbots para terapia. A pergunta é difícil de responder devido às informações limitadas sobre a tendência. Ela disse ao Mashable uma estimativa conservadora baseada em passado pesquisarseria pelo menos 3% da população; O Openis Chatgpt tem 700 milhões de usuários todas as semanas, segundo a empresa.
Mashable perguntou à Openai se ela sabia quantos de seus usuários recorrem ao chatgpt para interações semelhantes a terapia, mas a empresa se recusou a responder.
Matthew Nour, psiquiatra e neurocientista que usa IA para estudar o cérebro e a saúde mental, entende por que as pessoas tratam um chatbot como um terapeuta, mas acha que isso pode ser perigoso.
Um dos riscos mais importantes é “que a pessoa comece a ver o chatbot como… talvez o único dispositivo/pessoa que realmente a entende”, disse Nour, pesquisador do Departamento de Psiquiatria da Universidade de Oxford. “Então eles começam a confiar no chatbot com todas as suas preocupações e pensamentos, excluindo outras pessoas.”
Chegar a este ponto também não é imediato, acrescenta Nour. Isso acontece com o tempo e pode ser difícil para os usuários identificarem como um padrão não saudável.
Para entender melhor como essa dinâmica pode funcionar, aqui estão quatro razões pelas quais você não deve transformar qualquer IA -Chatbot em uma fonte de produção de saúde mental:
A “terapia” do chatbot só pode ser um ciclo de feedback malicioso
Nour publicou recentemente um artigo nas prévias do Arxiv sobre os fatores de risco isso ocorre quando as pessoas falam com AI -Chatbots. O ensaio está atualmente passando por revisão por pares.
Nour e seus coautores, que incluíam pesquisadores do Google Deepmind, afirmaram que uma combinação poderosa de antropomorfismo (atribui características humanas a um não-humano) e a mudança na confirmação cria a condição de uma trilha de feedback para os humanos.
Relatório de tendências do Mashable
Os chatbots, escreveram eles, jogam com uma tendência humana para o antropomorfismo, porque as pessoas podem atribuir condições emocionais ou mesmo consciência ao que é na verdade um sistema probabilista complexo. Se você já agradeceu a um chatbot ou perguntou como é, sentiu um desejo muito humano de antropomorfizar.
As pessoas também são propensas ao que é chamado de confirmação ou interpretam as informações que recebem de uma forma que corresponda às suas crenças e expectativas existentes. Os chatbots regularmente dão aos usuários a oportunidade de confirmar seus próprios preconceitos porque os produtos aprendem a produzir respostas que os usuários preferem, disse Nour em entrevista.
No final das contas, mesmo um AIChatbot com medidas de proteção ainda pode fortalecer as crenças prejudiciais do usuário, como a ideia de que ninguém em suas vidas realmente se importa com ele. Essa dinâmica pode então ensinar o chatbot a gerar mais respostas que solidifiquem ainda mais essas ideias.
Embora alguns usuários estejam tentando praticar seus chatbots para evitar essa armadilha, Nour disse que é quase impossível controlar com sucesso um modelo longe dos ciclos de feedback. Isto ocorre em parte porque os modelos são complexos e podem agir de maneiras imprevisíveis que ninguém compreende totalmente, disse Nour.
Mas há outro problema importante. Um modelo está constantemente captando pistas linguísticas sutis e as utiliza para informar como responde ao usuário. Por exemplo, pense na diferença entre Obrigado e obrigado! A pergunta “Tem certeza?” pode dar um efeito semelhante.
“Estamos vazando informações o tempo todo para esses modelos sobre como gostaríamos de interagir”, disse Nour.
AI Chatbots falham em longas discussões
Conversar com um chatbot de IA sobre saúde mental provavelmente significará trocas longas e profundas, que é exatamente quando o produto enfrenta dificuldades com desempenho e precisão. Até a Openai reconhece esse problema.
“Nossas medidas de salvaguarda funcionam de forma mais confiável em trocas curtas e comuns”, afirmou a empresa em seu comunicado. Últimas postagens de blog sobre problemas de segurança. “Aprendemos com o tempo que essas medidas de proteção às vezes podem ser menos confiáveis em interações longas: à medida que crescem para frente e para trás, partes do treinamento de segurança do modelo podem se deteriorar”.
Como exemplo, a empresa observou que o chatgpt pode compartilhar uma mensagem de crise quando um usuário expressa pela primeira vez a intenção de suicídio, mas também pode dar uma resposta que “viola” as medidas de proteção da plataforma após trocas por um longo período.
Nour também observou que quando os AI Chatbots incorporam um erro no início de uma conversa, a crença errada ou falsa só se une com o tempo, tornando o modelo “completamente inútil”.
Além disso, os chatbots de IA não têm o que os terapeutas chamam de “teoria da mente”, que é um modelo para o pensamento e comportamento do seu cliente baseado em conversas terapêuticas consistentes. Eles só têm o que o usuário dividiu até certo ponto, disse Nour.
AI Chatbots também não é bom para definir e rastrear metas de longo prazo em nome de um usuário, como um terapeuta faz. Embora possam se destacar por dar conselhos sobre problemas comuns, ou mesmo por fornecer lembretes diários e sugestões de curto prazo para lidar com a ansiedade ou a depressão, eles não devem confiar na cura do tratamento, disse Nour.
Adolescentes e pessoas com doenças mentais são particularmente vulneráveis a lesões
Scott Kollins, psicólogo infantil e diretor médico de proteção de identidade e aplicativo de segurança online Aura, disse ao Mashable que os adolescentes podem ser particularmente propensos a interpretar mal o tom atencioso de um chatbot de IA para empatia humana genuína. Este antropomorfismo é, em parte, o motivo pelo qual os chatbots podem ter uma grande influência no pensamento e no comportamento do usuário.
Os adolescentes, que ainda aderem às normas sociais e desenvolvem condições críticas, também podem sempre encontrar um chatbot “terapeuta”, disse Kollins.
As informações da própria Aura mostram que uma minoria de usuários adolescentes cujos telefones são monitorados pelo software da empresa conversam com AI Chatbots. Mas aqueles que interagem com você com chatbots gastam muito tempo para receber essas ligações. Kollins disse que esse uso excedeu aplicativos populares como mensagens do iPhone e snapchat. A maioria desses usuários se envolve em comportamentos românticos ou sexuais com chatbots descritos como “preocupantes”. Alguns confiam neles para saúde emocional ou mental.
Kollins também observou que os aplicativos AI Chatbot estão espalhados por “dezenas” e que os pais devem estar cientes dos produtos além do chatgpt. Dados os riscos, ele não recomenda o uso de coaching ou chatbot tipo terapia para adolescentes no momento.
Nour aconselha seus pacientes a verem os AI-Chatbots como uma ferramenta, como um contador ou processador de texto, não como um amigo. Para aqueles com ansiedade, depressão ou outro estado de saúde mental, Nour recomenda fortemente o envolvimento de AI-Chatbots em alguma forma de relacionamento emocional, devido à forma como uma trilha de feedback não intencional pode fortalecer crenças falsas ou prejudiciais existentes sobre si mesmos e o mundo ao seu redor.
Existem maneiras mais seguras de buscar ajuda em saúde mental
Kollins disse que os adolescentes que buscam primeiro aconselhamento ou orientação de um AIChatbot garantiriam que esgotaram sua lista de adultos de confiança. Às vezes, um adolescente pode esquecer ou inicialmente passar por um primo mais velho, treinador ou conselheiro escolar, disse ele.
Embora não seja isento de riscos, Kollins também recomendou considerar as sociedades online como um espaço para ser ouvido antes de consultar um Chatbot AI, desde que o adolescente também receba apoio real e exerça hábitos saudáveis.
Se um adolescente ainda não se sente seguro quando se trata de um amigo ou adulto em sua vida, Kollins sugeriu um exercício como escrever seus sentimentos, que pode ser catártico e levar a uma visão ou clareza pessoal.
Nour incentiva as pessoas a se comunicarem com um amigo ou ente querido sobre seus problemas de saúde mental e a procurarem atendimento profissional sempre que possível.
Mesmo assim, ele sabe que algumas pessoas ainda tentarão transformar um AIChatbot em seu terapeuta, apesar dos riscos. Ele aconselha seus pacientes a manterem outra pessoa informada: “(C) Converse com uma pessoa de vez em quando, apenas para obter algum feedback sobre o que o modelo lhe diz, pois (chatbots de IA) são imprevisíveis.”
