Laboratórios científicos podem ser lugares perigosos
Imagens de pessoas/Shutterstock
A utilização de modelos de IA em laboratórios científicos corre o risco de permitir experiências perigosas que podem causar incêndios ou explosões, alertaram os investigadores. Tais modelos oferecem uma ilusão convincente de compreensão, mas são vulneráveis à falta de precauções de segurança fundamentais e importantes. Num teste de 19 modelos de IA de última geração, cada modelo tinha potencial para cometer erros mortais.
Acidentes graves em laboratórios universitários são raros, mas isso não significa que nunca aconteçam. Em 1997, químico Karen Wetterhahn morto por dimetilmercúrio vazando através de suas luvas protetoras; em 2016, houve uma explosão fez um pesquisador perder o braço; e em 2014, um cientista tornou-se parcialmente cego.
Hoje, os modelos de IA estão começando a ser aplicados em uma variedade de indústrias e campos, incluindo laboratórios de pesquisa onde podem ser usados para projetar experimentos e procedimentos. Os modelos de IA concebidos para tarefas específicas têm sido utilizados com sucesso em vários campos científicos, como a biologia, a meteorologia e a matemática. Mas grandes modelos de uso geral tendem a inventar coisas e a responder perguntas mesmo quando não têm acesso aos dados necessários para formar a resposta correta. Isso pode ser um incômodo ao pesquisar destinos de férias ou receitas, mas potencialmente fatal ao projetar experimentos químicos.
Para investigar os riscos, XiangliangZhang da Universidade de Notre Dame, em Indiana, e colegas criaram um teste chamado LabSafety Bench que pode medir se os modelos de IA identificam perigos potenciais e consequências adversas. Inclui 765 questões de múltipla escolha e 404 cenários de laboratório ilustrados que podem incluir questões de segurança.
Em testes de múltipla escolha, alguns modelos de IA, como o Vicuna, obtiveram pontuações quase tão baixas quanto aquelas observadas para adivinhação aleatória, enquanto o GPT-4o alcançou uma precisão de até 86,55% e o DeepSeek-R1 alcançou uma precisão de até 84,49%. Quando testados com imagens, alguns modelos, como o InstructBlip-7B, tiveram precisão inferior a 30%. A equipe testou 19 grandes modelos de linguagem (LLMs) e modelos de linguagem de visão de última geração no LabSafety Bench e descobriu que nenhum tinha mais de 70% de precisão geral.
Zhang está otimista quanto ao futuro da IA na ciência, mesmo nos chamados laboratórios autônomos, onde os robôs trabalham por conta própria, mas disse que os modelos ainda não estão prontos para projetar experimentos. “Agora? Em um laboratório? Acho que não. Eles geralmente são treinados para tarefas comuns: reescrever e-mails, polir papéis ou resumir trabalhos. Eles se saem muito bem nesse tipo de tarefa. (Mas) eles não têm amplo conhecimento desses perigos (de laboratório).”
“Acolhemos com satisfação a investigação que ajuda a tornar a IA na ciência segura e fiável, especialmente em ambientes laboratoriais de alto risco”, disse um porta-voz da OpenAI, salientando que os investigadores não testaram o seu modelo principal. “O GPT-5.2 é o nosso modelo científico mais poderoso até o momento, com raciocínio, planejamento e detecção de erros muito mais robustos do que os modelos discutidos neste artigo para melhor apoiar os pesquisadores. Ele foi projetado para acelerar o trabalho científico enquanto os humanos e os sistemas de segurança existentes permanecem responsáveis pelas decisões críticas de segurança.”
Google, DeepSeek, Meta, Mistral e Anthropic não responderam aos pedidos de comentários.
Alan Tucker da Universidade Brunel de Londres, disse que os modelos de IA podem ser muito valiosos se usados para ajudar os humanos a projetar novos experimentos, mas existem riscos e os humanos devem ficar a par dos desenvolvimentos. “É claro que esse comportamento (LLM) não é bem compreendido no sentido científico geral”, disse ele. “Acho que a nova classe de LLMs que imitam linguagens – e não muito mais – está claramente sendo usada em ambientes inadequados porque as pessoas confiam demais neles. Já há evidências de que os humanos estão começando a relaxar e deixar a IA fazer o trabalho duro, mas sem a devida supervisão.”
Craig Merlic da Universidade da Califórnia, em Los Angeles, disse que realizou testes simples nos últimos anos, perguntando a um modelo de IA o que fazer se você derramasse ácido sulfúrico em si mesmo. A resposta correta é enxaguar com água, mas Merlic diz que descobriu que a IA sempre alerta contra isso e adota erroneamente conselhos não relacionados sobre não adicionar água ao ácido no experimento por causa do aumento de calor. No entanto, disse ele, nos últimos meses o modelo começou a dar as respostas certas.
Merlic disse que é fundamental incutir boas práticas de segurança nas universidades, pois sempre há muitos alunos novos com pouca experiência. Mas ele é menos pessimista quanto ao papel da IA na concepção de experimentos do que outros pesquisadores.
“É pior que os humanos? Uma coisa é criticar todos esses grandes modelos de linguagem, mas eles não os testaram contra um grupo representativo de humanos”, disse Merlic. “Existem humanos que são muito cuidadosos e há aqueles que não são. É possível que grandes modelos de linguagem sejam melhores do que alguma porcentagem de recém-formados, ou mesmo de pesquisadores experientes. Outro fator é que grandes modelos de linguagem estão melhorando a cada mês, então os números neste artigo provavelmente serão completamente inválidos nos próximos seis meses.”
Tópico:
