O Google tem anunciado está testando uma nova ferramenta de pesquisa baseada em IA, Laboratório Acadêmicoprojetado para responder a questões de pesquisa detalhadas. Mas a demonstração destaca a questão mais ampla de encontrar “bons” estudos científicos. Até que ponto os cientistas confiarão numa ferramenta que ignora formas comuns de medir a popularidade de um estudo entre o establishment científico, preferindo, em vez disso, ler as relações entre as palavras para ajudar a revelar boas pesquisas?
Esta nova ferramenta de pesquisa usa IA para identificar os principais tópicos e relacionamentos nas consultas dos usuários e está atualmente disponível para um grupo limitado de usuários logados. Um vídeo de demonstração do Scholar Labs apresenta perguntas sobre interfaces cérebro-computador (BCI). Tenho um PhD em BCI, então estava ansioso para ver o que o Scholar Labs estava fazendo.
O primeiro resultado foi um artigo de revisão de pesquisa do BCI publicado em 2024 na revista chamada Ciência aplicada. O Scholar Labs inclui uma explicação de por que os resultados correspondem à consulta, por isso diz que o artigo discute pesquisas em sinais não invasivos chamados eletroencefalogramas e examina alguns dos principais algoritmos da área.
Mas percebi que o Scholar Labs não possui um filtro para as métricas comuns usadas para separar estudos “bons” de estudos “não tão bons”. Uma métrica é o número de vezes que um estudo foi citado por outros estudos desde a sua publicação, o que reflete indiretamente a popularidade de um artigo. Isto também está relacionado ao momento: um estudo publicado recentemente pode não ter nenhuma citação ou acumular centenas de citações em poucos meses; um estudo dos anos 90 pode dizer milhares de pessoas. Outra métrica é o “fator de impacto” das revistas científicas. Os periódicos que publicam pesquisas altamente citadas têm fatores de impacto mais elevados e, portanto, têm a reputação de serem periódicos mais rigorosos e significativos para a comunidade científica. Ciência aplicada autorrelatar um fator de impacto 2,5. Naturalpara comparação, digamos que o fator de impacto seja 48,5.
Native Google Scholar tem a opção de classificar os estudos por “relevância” e lista o número de citações para cada resultado. O objetivo dos novos Scholar Labs é descobrir “os artigos mais úteis para as pesquisas dos usuários”, disse a porta-voz do Google, Lisa Oguike. Borda Isto é feito classificando os artigos da mesma forma que os próprios investigadores, diz o Google, “considerando o texto completo de cada documento, onde foi publicado, por quem foi escrito e com que frequência e recentemente o documento foi citado noutra literatura científica”.
No entanto, os novos Laboratórios Acadêmicos não classificarão ou limitarão os resultados com base na contagem de citações de um artigo ou no fator de impacto do periódico, disse Oguike. Borda.
Imagem: Google Acadêmico
“O fator de impacto e o número de citações dependem do campo de pesquisa do artigo e pode ser difícil para a maioria dos usuários adivinhar o valor apropriado no contexto de uma questão de pesquisa específica”, escreveu Oguike. “A limitação baseada no fator de impacto ou no número de citações pode muitas vezes ignorar artigos importantes – em particular, artigos em campos/periódicos interdisciplinares/adjacentes ou artigos publicados recentemente”, acrescentou Oguike.
Métricas como número de citações e fator de impacto são “avaliações bastante aproximadas da qualidade de um artigo”, disse Matthew Schrag, professor de neurologia do Centro Médico da Universidade Vanderbilt, em entrevista ao Bordaconcordo com a declaração do Google. Eles “dizem mais sobre o contexto social do artigo” do que sobre sua qualidade, embora “essas duas coisas estejam correlacionadas”, disse ele.
Schrag, que pesquisa a doença de Alzheimer, é um dos muitos cientistas-detetives que a denunciaram dados questionáveis em estudos científicos publicados. Os esforços de detetives de dados como Schrag, e a maior atenção da comunidade científica em geral, resultaram na retirada de pesquisas dos principais periódicos porque imagem adulteradacorreção emitida por Vencedor do Prêmio NobelE investigação federal ser dados falsos.
Ainda assim, é difícil fazer isso Não use a contagem de citações ou a reputação do periódico para examinar casualmente uma pesquisa, especialmente ao entrar em um novo campo. O professor de ciências da reabilitação na Tufts University, James Smoliga, que costuma usar o Google Scholar original, descobriu que os artigos altamente citados eram mais confiáveis. “Sou culpado disso tanto quanto qualquer um”, disse ele Borda. Ele já fez isso negado métodos utilizados em pesquisas com milhares de citações. “E eu sei que não é o caso, mas ainda caio nessa armadilha porque o que mais devo fazer?”
Repeti a pergunta de demonstração do Scholar Labs sobre a pesquisa do BCI para pacientes com AVC no PubMed, o principal repositório de pesquisas biomédicas e de saúde administrado pela Biblioteca Nacional de Medicina dos Institutos Nacionais de Saúde dos EUA. Ao contrário do Scholar Labs, o PubMed depende muito de filtros e termos associados a eles ouareia ES. Limitei meus resultados à revisão apenas de artigos de pesquisa clínica, ou seja, realizados apenas em humanos, dos últimos cinco anos. Excluo os preprints, que são estudos postados diretamente em repositórios de papel como arXiv ou bioRxiv sem passar por um processo de revisão de outros cientistas. Dois dos seis resultados focaram exclusivamente nos eletroencefalogramas como o principal tipo de BCI não invasivo usado para ajudar pacientes com AVC.
Os usuários poderão solicitar artigos “recentes” em suas consultas e especificar um período de tempo em suas solicitações, e o Scholar Labs usa o “texto completo dos artigos de pesquisa” para encontrar resultados que correspondam às dúvidas dos usuários, acrescentou Oguike.
O Google chamou o Scholar Labs de “uma nova direção para nós” e disse que planeja incorporar o feedback dos usuários no futuro. Possui lista de espera para acesso.
De acordo com Schrag, a pesquisa alimentada por IA, como a feita pelo Scholar Labs, tem um lugar no ecossistema científico. Em teoria, isso poderia lançar uma rede mais ampla para revelar os jornais que passam pelo corte ou adicionar contexto adicional sobre a popularidade de um jornal nas plataformas de mídia social, acrescentou. O estudo requer uma avaliação holística, disse ele, que a IA pode ser capaz de abordar. “É preciso compreender os padrões da área em termos de rigor e se um estudo atende a esses padrões”, acrescentou.
Em última análise, os cientistas são responsáveis por determinar o impacto da ciência, disse Schrag. Isto requer a leitura e o envolvimento com a literatura científica “para ser o árbitro final e não permitir que os algoritmos sejam o árbitro final do que consideramos de alta qualidade”.
