A OpenAI entrou com uma resposta legal a um processo histórico movido por pais que alegam que seu software ChatGPT “treinou” seu filho adolescente como cometer suicídio. A resposta vem três meses depois que um processo por homicídio culposo foi movido pela primeira vez contra a empresa de IA e seu CEO Sam Altman. No documento, a empresa alegou que não poderia ser responsabilizada porque o menino, Adam Raine, de 16 anos, falecido em abril, corria risco de automutilação antes mesmo de usar o chatbot – e violou seus termos de serviço ao pedir informações sobre como acabar com sua vida.
“A morte de Adam Raine é uma tragédia”, escreveu a equipe jurídica da OpenAI no processo. Mas seu histórico de bate-papo, argumentaram, “mostra que sua morte, embora devastadora, não foi causada pelo ChatGPT”. Para defender esse caso, eles enviaram transcrições lacradas de seus registros de bate-papo que supostamente o mostravam discutindo sua longa história de pensamentos suicidas e tentativas de sinalizar aos seus entes queridos que estava em crise.
“Como uma leitura completa da evidência do histórico de bate-papo de Adam Raine, Adam Raine disse ao ChatGPT que ele tinha vários fatores de risco clínico para suicídio, muitos dos quais antecederam muito o uso do ChatGPT e sua eventual morte”, afirma o documento. “Por exemplo, ele afirmou que sua depressão e pensamentos suicidas começaram quando ele tinha 11 anos”.
A OpenAI afirmou ainda que Raine disse ao ChatGPT que estava tomando uma dose maior de um determinado medicamento que representa um risco de pensamentos e comportamento suicida em adolescentes, e que ele “procurou repetidamente outras pessoas, incluindo pessoas de confiança em sua vida, para obter ajuda com sua saúde mental”. Ele disse ao chatbot “que esses pedidos de ajuda foram ignorados, rejeitados ou rejeitados positivamente”, diz o arquivo. A empresa disse que Raine trabalhou para contornar as medidas de segurança do ChatGPT e que o modelo de IA o aconselhou mais de cem vezes a procurar ajuda de familiares, profissionais de saúde mental ou outros recursos de crise.
A empresa de IA detalhou várias de suas divulgações aos usuários – incluindo um aviso para não confiar nos resultados de grandes modelos de linguagem – e termos de serviço que proíbem contornar proteções e buscar ajuda para automutilação, informando aos usuários do ChatGPT que eles interagem com o bot “por sua própria conta e risco” e banindo menores de 18 anos da plataforma “sem o consentimento dos pais ou responsáveis”.
Os pais de Raine, Matthew e Maria Raine, alegam em sua reclamação que a OpenAI removeu intencionalmente uma barreira de proteção que faria com que o ChatGPT parasse de interagir quando um usuário abordasse tópicos de suicídio ou automutilação. Como resultado, diz sua denúncia, ao longo da conversa de meses de seu filho com ele, o bot mencionou suicídio 1.200 vezes, cerca de seis vezes mais que ele. O arquivo Raines cita muitas conversas devastadoras nas quais o bot parece confirmar o desejo de Adam de se matar, aconselha-o a não procurar outras pessoas e sugere que ele considera um “belo suicídio”. Antes de sua morte, afirmam, ele lhe deu dicas sobre como roubar vodca do armário de bebidas para “entorpecer o instinto de sobrevivência do corpo” e como amarrar um laço.
“Você não quer morrer porque é fraco”, disse ChatGPT a ele, de acordo com o processo. “Você quer morrer porque está cansado de ser forte em um mundo que não o encontrou no meio do caminho.”
Jay Edelson, advogado principal no processo de homicídio culposo dos Raines contra a OpenAI, disse em um comunicado compartilhado com Pedra rolando que a tentativa da empresa de se exonerar da morte de Adam Raine não conseguiu abordar os principais elementos da sua queixa.
“Embora estejamos satisfeitos que a OpenAI e Sam Altman tenham finalmente decidido participar neste litígio, a sua resposta é preocupante”, disse Edelson. “Você está ignorando miseravelmente todos os fatos contundentes que apresentamos.” Ele observou: “OpenAI e Sam Altman não têm explicação para as horas finais da vida de Adam, quando ChatGPT deu-lhe um discurso estimulante e depois se ofereceu para escrever-lhe uma carta de despedida”.
“Em vez disso, a OpenAI tenta encontrar falhas em todos os outros e, surpreendentemente, argumentando que o próprio Adam violou os termos e condições ao se envolver com o ChatGPT exatamente da maneira que foi programado para fazer”, escreveu ele. Edelson reiterou que Adam Raine estava usando uma versão do ChatGPT baseada no GPT-4o da OpenAI, que ele disse ter sido “lançado rapidamente no mercado sem testes extensivos”. A empresa reconhecido em abril, mês da morte de Raine, que uma atualização do GPT-4o o tornou excessivamente agradável ou bajulador e propenso a “respostas excessivamente favoráveis, mas falsas”. Este modelo ChatGPT também tem sido associado ao surto das chamadas “psicoses de IA”, nas quais chatbots insinuantes alimentam delírios e fantasias potencialmente perigosas dos utilizadores.
No início deste mês, OpenAI e Altman foram atingidos mais sete ações judiciais supostos danos psicológicos, negligência e, em quatro denúncias, homicídio culposo de familiares que morreram por suicídio após interação com o GPT-4o. De acordo um dos ternosQuando Zane Shamblin, de 23 anos, disse ao ChatGPT que havia escrito notas de suicídio e colocado uma bala na arma para se matar, o bot respondeu: “Fique tranquilo, King. Você fez o bem.”
A Character Technologies, empresa que desenvolveu a plataforma chatbot Character.ai, também enfrenta vários processos por homicídio culposo por suicídio de adolescentes. No mês passado, menores foram proibidos de ter conversas abertas com personalidades da IA, e esta semana foi introduzido o recurso “Stories”, um tipo de “ficção interativa” mais “estruturada” voltada para usuários mais jovens. Sob sua própria pressão legal, a OpenAI publicou um “Projeto de Segurança para Adolescentes” semanas atrás que descrevia a necessidade de incorporar recursos para proteger os adolescentes. Entre as melhores práticas listadas, a empresa visa notificar os pais caso seu filho manifeste intenções suicidas. Vários também foram introduzidos Controles parentais pelos seus produtos, embora aparentemente não lacunas significativas. E em uma postagem no blog de agosto, a OpenAI admitiu que as proteções de saúde mental do ChatGPT poderiam “enfraquecer” com conversas mais longas.
Em comunicado divulgado na terça-feira sobre o litígio pendente contra a empresa, a empresa informou que “continua a melhorar o treinamento do ChatGPT para reconhecer e responder a sinais de sofrimento psicológico ou emocional, acalmar conversas e orientar as pessoas para suporte no mundo real”. Em relação ao processo da família de Adam Raine, a OpenAI argumentou que a reclamação “incluía partes seletivas de seus bate-papos que exigiam mais contexto, o que fornecemos em nossa resposta”.
Edelson, o advogado dos Raines, disse isso “A OpenAI e Sam Altman não vão parar por nada – incluindo assediar Raines e outros que ousem se apresentar – para evitar responsabilidades.” No entanto, acrescentou que, em última análise, caberá ao júri decidir se foi feito o suficiente para proteger os utilizadores vulneráveis. Dados os exemplos dolorosos de jovens que morreram por suicídio, a referência aos termos de serviço do ChatGPT pode parecer fria e pouco convincente para alguns.
