As escrituras de IA podem gravar sessões entre você e seu terapeuta

Quando a inteligência artificial generativa se torna incorporada na vida quotidiana das pessoas, um aspecto emergente da sua utilização nos cuidados de saúde mental levanta questões complicadas de ética profissional e de integridade do paciente.

Várias empresas, como a Upheal, a Blueprint e a Heidi Health, começaram a oferecer ferramentas baseadas em IA, concebidas para tornar os terapeutas mais eficientes no que diz respeito à documentação de sessões e à execução de documentação administrativa. O problema? Geralmente, os fornecedores são obrigados a gravar toda a sessão com um cliente.

Embora seja ético para os terapeutas gravar essas conversas em determinadas circunstâncias, isso raramente é feito fora da educação profissional e do trabalho forense. Ferramentas de notas, ou “professores de redação”, usam IA para analisar o conteúdo da conversa de um cliente com seu terapeuta para gerar documentação que os terapeutas devem enviar por vários motivos, inclusive para pagamentos de seguros e possíveis auditorias de qualidade.

As clínicas que usam esses produtos de IA dizem que eles simplificam tarefas chatas e liberam tempo para se concentrarem não apenas em ajudar seus clientes, mas também em suas próprias vidas.

No entanto, alguns especialistas dizem que tais produtos de IA introduzem riscos desnecessários ou antiéticos, tais como a possibilidade de as gravações serem pirateadas ou utilizadas para treinar o grande modelo de linguagem de uma empresa sem o consentimento do cliente. Também podem afectar negativamente a relação entre o terapeuta e o cliente se a pessoa que procura tratamento se retrair na presença de um empresário ou sentir que não pode rejeitar o pedido do seu fornecedor.

“A indústria se precipitou um pouco sem fazer a pergunta: isso é uma boa ideia? “, disse o Dr. Vaile Wright, gerente sênior do Escritório de Inovação em Cuidados de Saúde da American Psychological Association.” Simplesmente não sabemos a resposta para essa pergunta… Parece que estávamos pulando. “

“Dread” para escrever notas clínicas

A psicóloga Dra. Hannah Weisman, que dirige uma terapia de meio período em Seattle, começou a usar uma impressora de IA em dezembro do ano passado. Além de sua prática, Weisman recomenda empresas técnicas que atuam na área de saúde mental, mesmo que não consulte nenhuma ferramenta de escrita.

Weisman disse que tem medo de escrever notas clínicas devido ao número de audiências que deve ter em mente. Além de uma seguradora, suas anotações podem ser solicitadas por outro prestador de cuidados de saúde, por um juiz sobre uma questão jurídica envolvendo um cliente ou pelo próprio cliente.

Durante um período deste ano, Weisman usou principalmente impressoras médicas da Heidis Health. A oferta da ferramenta para psicólogos promete “aumentar o comprometimento, restaurar o contato visual e oferecer cuidados mentais mais calorosos”.

Heidi Health e outros escritos de IA que Weisman testou reduziram a “carga cognitiva” de drenagem de escolher os detalhes certos para suas anotações e compô-las em um dos vários formatos possíveis. Embora não existam pesquisas sobre ganhos de eficiência para fornecedores de saúde mental, Weisman estima que a ferramenta também economize cerca de cinco minutos para cada cliente.

No entanto, Weisman também está ciente de que os professores de escrita de IA, especialmente aqueles que gravam sessões, são riscos complexos, mesmo que facilitem a sua carga de trabalho.

Weisman fornece a todos os clientes, novos ou existentes, um formulário de consentimento informado que ela criou pessoalmente, após consultar versões padronizadas oferecidas por várias empresas de redação de IA.

Ela exige consentimento por escrito dos clientes e enfatiza que ele pode ser revogado a qualquer momento, inclusive no meio de uma sessão. Weisman também deixa claro que registra a sessão em um gravador digital pessoal e a carrega na impressora de IA em seu computador protegido por senha. Em seu termo de consentimento, Weisman se compromete a retirar todas as cópias do som, inclusive a gravação em seu aparelho, no prazo de 48 horas.

Ela também decidiu, via de regra, não usar escritos de IA que anonimizam as impressões e as retém para treinar melhor seu produto.

“É um obstáculo para mim”, diz ela. “Eu, como terapeuta, realmente tento (ser tendencioso) contra a proteção dos consumidores. Eu acho que, como área e como terapeutas, essa é a perspectiva que devemos adotar.”

A Heidi Health diz que criptografa o som durante a transcrição. A empresa não armazena a gravação e não utiliza a transcrição para treinar sua tecnologia de IA. A transcrição é produzida pelos modelos privados de IA da Heidi Health, e não por terceiros. As clínicas são responsáveis ​​por remover a transcrição da Heidi Health.

Weisman estima que três quartos de seus clientes concordaram em ser gravados. Alguns dos trabalhadores técnicos de Seattle que ela atende a rejeitaram, enquanto outros concordaram e observaram que usam produtos generativos de IA em seu próprio trabalho.

A possibilidade de “dano à reputação”

No outono passado, A American Psychological Association criou uma lista de verificação Para terapeutas que consideram todas as ferramentas de IA para fins clínicos ou administrativos. O objetivo é ajudar os terapeutas, que podem ter pouca ou nenhuma compreensão de como funciona a IA generativa, a avaliar diferentes produtos tendo em mente a segurança e a integridade.

A lista de verificação solicita que os usuários perguntem se um produto é compatível com HIPAA, criptografa os dados do usuário, usa medidas de segurança avançadas e permite que os usuários excluam ou alterem seus dados, incluindo considerações.

Apesar disso, Wright, da APA, disse que a equipe independente de saúde mental pode não ser capaz de analisar a linguagem técnica por conta própria. Eles também podem encontrar empresas que intencionalmente tornam opacos seus métodos de privacidade.

Em geral, ela disse que os terapeutas deveriam compreender que todo produto é falível; Violações e vazamentos de dados podem acontecer a qualquer momento.

Na verdade, uma nova pesquisa foi publicada em Rede Jama aberta Descobriu-se que o número de violações de cuidados de saúde e ataques de ransomware aumentou anualmente desde 2010, um total de 6.468 incidentes únicos até outubro de 2024. Embora hackers ou incidentes de TI sejam os tipos dominantes de violações, o Ransomware agora representa a maioria dos registros comprometedores de pacientes.

“Os externos ao ramo de ransomware não precisam vazar esse tipo de dados para causar danos – eles só precisam tornar a ameaça confiável.”

Sobre a questão do Mashable sobre sessões de terapia gravadas, o autor principal, John X. Jiang, disse que elas poderiam se tornar um “objetivo vulnerável” para maus atores. Como o som geralmente contém informações sensíveis, as gravações têm valor único de extorsão caso sejam roubadas.

“Os controladores de ransomware não precisam vazar esse tipo de dados para causar danos – eles só precisam tornar a ameaça credível”, disse Jiang, professor de contabilidade na Universidade Estadual de Michigan, cuja pesquisa inclui segurança sanitária. “A combinação de desordem operacional e danos à reputação cria uma forma poderosa de alavancagem”.

A Dra. Darlene King, presidente do Comitê de Saúde Mental da Associação Psiquiátrica Americana, disse que os desenhos da terapia devem ser mantidos em um padrão de segurança mais elevado do que as informações normalmente incluídas nos prontuários médicos. Embora essas informações também sejam muito sensíveis, o conteúdo das sessões de terapia do paciente pode incluir informações detalhadas e profundamente pessoais, como experiências com traumas, abusos e abusos.

King, psiquiatra do Out Southwestern Medical Center, em Dallas, usa uma impressora de IA para documentação médica, mas não para terapia.

Ela acrescentou que a profissão de saúde mental deve encontrar um equilíbrio entre facilitar os encargos – e o desgaste – dos fornecedores e proteger a integridade do paciente, ao mesmo tempo que utiliza o uso positivo da IA, como a melhoria dos documentos de saúde mental.

Por que gravar?

Jon Sustaar, engenheiro de software e cofundador da Quill Therapy Solutions, acredita ter encontrado uma resposta para parte desse desafio: não gravar sessões.

Quill usa IA generativa para produzir documentação para clínicas, mas o faz com base em resumos orais ou escritos.

Embora esta abordagem possa não reduzir a carga cognitiva de recordação e priorização de elementos no que um cliente discutiu, significa que não há registo da sessão para interromper. As compilações de som são transcritas imediatamente e depois excluídas. O Quill também não armazena as notas que cria. Suvar descreve as tarefas como “voláteis”.

Hustar, cuja esposa é consultora de saúde mental licenciada e cofundadora de Quill, acredita firmemente que a terapia é um espaço sagrado. Ele teme que isso possa ter um impacto negativo na dinâmica de poder entre um terapeuta e seu cliente quando o primeiro pede permissão ao último para gravar sua conversa.

Sustal também entende que as pessoas, quer estejam em terapia formal ou não, recorreram a plataformas generativas de IA que tentam falar sobre as suas lutas pessoais, tal como fariam com um fornecedor de saúde mental.

Embora alguns destes utilizadores possam ter aceitado violações das suas tarefas, ele preocupa-se que as startups apoiadas por capital de risco tenham subitamente mudado a norma na saúde mental contra o registo e análise de sessões de IA de facto, embora os terapeutas e os seus clientes não percebam totalmente o que isso significa ou significa.

“Minha maior preocupação é que as empresas normalizem silenciosamente a gravação em massa das sessões de terapia, e muitas vezes fazem isso sem o consentimento totalmente informado de todos os envolvidos”, diz Sustaar.