A inteligência artificial pode processar grandes quantidades de dados, mas será que consegue fazer ciência?
tonioyyumui/Getty
Um cientista de IA pode trabalhar de forma autónoma durante horas enquanto realiza pesquisas que levariam meses a ser concluída pelos seres humanos, e já fez várias “novas contribuições” para a ciência, afirmam os seus criadores – mas outros são mais duvidosos.
O sistema, denominado Kosmos, é na verdade uma coleção de agentes de IA especializados na análise de dados e na pesquisa de literatura científica existente, num esforço para fazer novas descobertas científicas.
“Estamos trabalhando na construção de um cientista de IA há cerca de dois anos”, disse ele Sam Rodrigues na Edison Scientific, a empresa sediada nos EUA por trás da Kosmos. “E as limitações que os cientistas de IA divulgaram até agora sempre foram a complexidade das ideias que podem gerar.”
Kosmos pretende consertar isso. Durante um processo típico, que pode levar até 12 horas, os usuários inserem um conjunto de dados científicos e o Kosmos pesquisa e analisa aproximadamente 1.500 artigos acadêmicos relevantes, enquanto escreve e executa 42.000 linhas de código para interrogar os dados. No final do processo, a IA produz um resumo das descobertas, além de cotações ou dados, e cria um plano para análises adicionais que pode ser usado como entrada para o próximo ciclo.
Após vários ciclos, o sistema emite um relatório, apoiado em citações relevantes, que produz uma conclusão científica, semelhante a um artigo académico. Uma avaliação realizada por um grupo de académicos concluiu que estes 20 ciclos equivaliam a cerca de seis meses do seu tempo de investigação.
As conclusões do sistema parecem ser geralmente precisas, disse Rodriques. Edison pediu a pessoas com pelo menos nível de doutorado em biologia que avaliassem as 102 declarações feitas pelo Cosmos. A equipe descobriu que 79,4% deles foram apoiados no geral, incluindo 85,5% das reivindicações relacionadas a reivindicações de análise de dados e 82,1% das declarações citadas na literatura existente. No entanto, o Kosmos foi mais fraco na combinação de todas estas coisas para fazer novas afirmações sobre descobertas científicas: aqui, a sua precisão foi de apenas 57,9 por cento.
Edison afirmou que a Kosmos fez sete descobertas científicas que foram todas validadas externamente e replicadas por especialistas independentes na área, usando conjuntos de dados externos ou métodos diferentes. Quatro das descobertas são completamente novas, diz a equipe por trás do Kosmos, e três outras já existem – embora na forma de pré-impressões ou artigos não publicados.
Uma das descobertas reivindicadas é um novo método para determinar quando as vias celulares falham à medida que a doença de Alzheimer progride. Outras evidências sugerem que as pessoas que têm mais enzima antioxidante natural no sangue, chamada superóxido dismutase 2 (SOD2), parecem ter menos cicatrizes no coração.
No entanto, outros que trabalham neste campo tiveram respostas mistas a estas afirmações. A “descoberta” do SOD2 não foi nada disso, disse ele Fergus Hamilton na Universidade de Bristol, Inglaterra. “Essas alegações causais podem não ser aceitas como novas descobertas e existem falhas metodológicas na forma como a análise foi conduzida”, disse ele. Rodriques reconheceu que descobertas anteriores de SOD2 foram encontradas em camundongos, mas de acordo com especialistas que trabalharam com Edison, esta foi a primeira vez que a descoberta foi vista em nível populacional em humanos usando genômica.
Hamilton também disse que o código de análise de dados que o agente estava tentando executar não funcionou bem, então Kosmos ignorou dados importantes – mas ainda assim chegou à mesma conclusão do trabalho anterior.
“Isso levanta uma série de suposições que são muito importantes para serem aplicadas corretamente na análise real”, disse ele. “Os pacotes de software falham terrivelmente e depois os abandonam.” Além disso, ele argumentou que os dados foram pré-processados, então a Kosmos “provavelmente fez 10% do seu trabalho”.
Hamilton elogiou a equipe por trás do Kosmos envolva-se com a questão e preocupações nas redes sociais. “Em princípio, este é um bom progresso, mas talvez uma crítica técnica específica a este trabalho seja que não está a funcionar como deveria”, disse ele.
“Estou muito aberto à ideia de que algumas das descobertas que apresentamos possam estar erradas ou falhas, e que isso é apenas parte da ciência”, disse Rodriques. “Acho que o facto de isto ter levado a críticas sofisticadas mostra a força do sistema.”
Outros ficaram impressionados com o desempenho geral do Cosmos. “Isso mostra o grande potencial da IA para apoiar a descoberta científica, mas eu permaneceria cauteloso em relação ao uso autônomo por cientistas de IA”, disse Ben Glocker no Imperial College de Londres. “Este trabalho mostra alguns exemplos extraordinários de sucesso, mas temos poucos insights sobre como ele falhou.”
“Acredito que deveríamos usar ferramentas como o Kosmos e desenvolver outras ferramentas semelhantes, mas não devemos ignorar que há mais na ciência do que estes métodos baseados em dados”, disse Noah Giansiracusa na Universidade Bentley, em Massachusetts. “Há também pensamento profundo, criatividade profunda, e seria tolice ignorar isso só porque a ciência que podemos automatizar é mais receptiva à IA.”
O próprio Rodriques admitiu que o Kosmos deveria ser usado como colaborador e não como substituto dos cientistas. “Ele pode fazer muitas coisas muito, muito impressionantes”, disse ele. “Você ainda precisa ler e validar. E nem sempre estará 100% correto.”
Tópico:
