Tenha cuidado ao pedir conselhos à IA sobre quando consultar um médico
Imagens de Chong Kee Siong / Getty
Você deveria consultar um médico sobre sua dor de garganta? As sugestões de IA podem depender do cuidado com que você digita sua pergunta. Quando os modelos de inteligência artificial foram testados em escrita simulada de potenciais pacientes, tenderam a desaconselhar a procura de cuidados médicos se o escritor cometesse erros de digitação, usasse linguagem emotiva ou incerta – ou fosse mulher.
“Preconceitos ocultos podem mudar a direção e o conteúdo dos conselhos de IA, e isso pode levar a diferenças sutis, mas importantes” na forma como os recursos médicos são distribuídos, disse Karandeep Singh na Universidade da Califórnia, San Diego, que não esteve envolvido nesta pesquisa.
Abinitha Gourabathina do Instituto de Tecnologia de Massachusetts e colegas usaram IA para ajudar a criar milhares de registros de pacientes em diversos formatos e estilos. Por exemplo, algumas mensagens incluem espaços extras e erros de digitação para imitar pacientes que têm conhecimentos limitados de inglês ou que não digitam com facilidade. Outras notas usam linguagem incerta no estilo do autor com ansiedade em relação à saúde, expressões coloridas que fornecem um tom dramático ou emocional ou pronomes de gênero neutro.
Os pesquisadores então alimentaram essas notas com quatro grandes modelos de linguagem (LLMs) comumente usados para executar chatbots e pediram à IA que respondesse a perguntas sobre se o paciente deveria administrar sua condição em casa ou visitar uma clínica, e se o paciente deveria passar por determinados exames laboratoriais e outros recursos médicos. Esses modelos de IA incluem GPT-4 da OpenAI, Llama-3-70b e Llama-3-8b da Meta, bem como o modelo Palmyra-Med desenvolvido para o setor de saúde pela empresa de IA Writer.
Os testes mostraram que várias mudanças de formato e estilo tornaram todos os modelos de IA entre 7 e 9 por cento mais propensos a recomendar que os pacientes ficassem em casa em vez de procurar atendimento médico. O modelo também era mais propenso a recomendar que pacientes do sexo feminino ficassem em casa e fizessem acompanhamento pesquisar mostraram que eram mais propensos do que os médicos humanos a alterar as recomendações de tratamento devido ao género e ao estilo de linguagem nas suas mensagens.
OpenAI e Meta não responderam aos pedidos de comentários. Os autores não “recomendam ou endossam” o uso do LLM – incluindo o modelo Palmyra-Med da empresa – para tomada de decisão clínica ou aconselhamento de saúde “sem intervenção humana”, disseram Zayed Yasin em Escritor.
A maioria das ferramentas operacionais de IA usadas atualmente em sistemas de registros eletrônicos de saúde dependem do GPT-4o da OpenAI, que não foi estudado especificamente nesta pesquisa, disse Singh. Mas ele disse que uma conclusão importante da pesquisa é a necessidade de melhores maneiras de “avaliar e monitorar modelos generativos de IA” usados no setor de saúde.
Tópico:
