Depois que o ChatGPT se tornou amplamente disponível no final de 2022, muitos pesquisadores começaram a dizer aos colegas que poderiam fazer mais com essas novas ferramentas de IA. Ao mesmo tempo, os editores de revistas relatam que um grande número de submissões de artigos não parece agregar muito valor científico.
Um novo estudo da Universidade Cornell sugere que estes relatórios informais apontam para mudanças mais amplas na forma como os cientistas preparam os manuscritos. Os pesquisadores descobriram que grandes modelos de linguagem (LLMs), como o ChatGPT, podem aumentar a produção de artigos, o que é particularmente benéfico para cientistas que não são nativos de inglês. Mas o volume crescente de texto escrito por IA também torna mais difícil para os principais decisores diferenciar entre trabalho significativo e conteúdo de baixo valor.
“Este é um padrão muito comum que abrange diferentes campos da ciência – desde física e ciência da computação até ciências biológicas e sociais”, disse Yi-An Yin, professor assistente de ciência da informação na Escola Ann S. Bowles de Ciências Computacionais e da Informação de Cornell. “Nosso ecossistema atual é uma grande mudança que merece ser levada a sério, especialmente para aqueles que decidem que ciência devemos apoiar e financiar”.
As descobertas foram publicadas em um artigo intitulado “Science Production in the Age of Large Language Models”, publicado em 18 de dezembro no ciência.
Como uma equipe da Cornell mediu o uso de inteligência artificial em artigos de pesquisa
Para estudar como os LL.M.s impactam a publicação científica, a equipe de Yin compilou mais de 2 milhões de artigos publicados em três principais plataformas de pré-impressão de janeiro de 2018 a junho de 2024. Esses sites são arXiv, bioRxiv e Social Science Research Network (SSRN). Juntos, eles representam as ciências físicas, as ciências da vida e as ciências sociais e conduzem pesquisas que ainda não foram revisadas por pares.
Os pesquisadores usaram artigos publicados antes de 2023 que se acreditava terem sido escritos por humanos e os compararam com textos gerados por IA. Em comparação, eles construíram um modelo projetado para sinalizar artigos que poderiam ter sido escritos com a ajuda de um LL.M. Usando este detector, eles estimaram quais autores provavelmente usariam o LLM para sua escrita, rastrearam quantos artigos esses cientistas publicaram antes e depois de adotar essas ferramentas e, em seguida, verificaram se esses artigos foram posteriormente aceitos por revistas científicas.
Grandes ganhos de produtividade, especialmente para falantes não nativos de inglês
Os resultados mostram que ganhos significativos de produtividade estão associados ao uso do LL.M. No arXiv, cientistas marcados como usando LL.M. publicaram cerca de um terço mais artigos do que aqueles que não pareciam estar usando IA. No bioRxiv e SSRN, o aumento foi superior a 50%.
O impulso é mais pronunciado para cientistas que escrevem em inglês como segunda língua e enfrentam barreiras adicionais ao comunicarem sobre trabalhos técnicos numa língua estrangeira. Por exemplo, pesquisadores de instituições asiáticas publicaram entre 43,0% e 89,3% mais artigos (dependendo do site de pré-impressão) do que pesquisadores similares que não pareciam ter adotado a tecnologia depois que os detectores sugeriram que eles começassem a usar o LL.M. Yin prevê que esta vantagem poderá eventualmente deslocar o modelo global de produtividade científica para regiões que são dificultadas por barreiras linguísticas.
As pesquisas de IA podem expandir o que os cientistas citam
O estudo também aponta benefícios potenciais no processo de pesquisa bibliográfica e construção de citações. Quando os pesquisadores procuram trabalhos relevantes para citar, o Bing Chat (considerado a primeira ferramenta de pesquisa de inteligência artificial amplamente adotada) tem um desempenho melhor do que as ferramentas de pesquisa tradicionais na exibição de artigos mais recentes e livros relacionados. Em contraste, as ferramentas tradicionais têm maior probabilidade de retornar fontes mais antigas e mais citadas.
“As pessoas que utilizam o LL.M. estão sendo expostas a conhecimentos mais diversos, o que pode inspirar ideias mais criativas”, disse o primeiro autor Keigo Kusumegi, estudante de doutorado em ciência da informação. Ele planeja pesquisas futuras para testar se o uso da IA está associado a uma ciência mais inovadora e interdisciplinar.
Questões emergentes na revisão por pares e avaliação de pesquisas
Enquanto um LL.M. podem ajudar os indivíduos a produzir mais manuscritos, as mesmas ferramentas também podem tornar mais difícil para outros julgarem o que é uma ciência verdadeiramente forte. Em artigos escritos por humanos, uma escrita mais clara, mas mais complexa, incluindo frases mais longas e palavras maiores, é muitas vezes um sinal útil de investigação de maior qualidade. No arXiv, bioRxiv e SSRN, os artigos de autoria humana que obtiveram pontuação alta em testes de complexidade de redação também tiveram maior probabilidade de serem aceitos pelos periódicos.
Este padrão parece diferente para uma tese que pode ser escrita com a ajuda de um LL.M. Mesmo que esses artigos sinalizados por IA tenham uma pontuação alta em complexidade de redação, é menos provável que sejam aceitos pela revista. Os investigadores interpretaram isto como um sinal de que uma linguagem bonita pode já não reflectir de forma fiável o valor científico, e que os revisores podem rejeitar alguns destes artigos, mesmo que pareçam convincentes.
A lacuna entre a qualidade da escrita e a qualidade da pesquisa pode ter consequências graves, disse Yin. Editores e revisores podem trabalhar mais para identificar as submissões mais valiosas, enquanto universidades e agências de financiamento podem descobrir que os números brutos de publicações não refletem mais as contribuições científicas.
O que vem a seguir para a pesquisa generativa de IA?
Os pesquisadores enfatizam que essas descobertas são observacionais. Em seguida, eles esperam testar relações de causa e efeito usando métodos como experimentos controlados, incluindo projetos nos quais alguns cientistas são designados aleatoriamente para usar o LL.M. e outros não.
Yin também planeja organizar um workshop no campus de Ithaca, de 3 a 5 de março de 2026. Este evento explorará como a IA generativa está mudando a pesquisa e como cientistas e legisladores podem orientar essas mudanças.
À medida que a IA se torna mais comum na escrita, codificação e até na geração de ideias, Yin espera que a sua influência se expanda, transformando efetivamente estes sistemas numa espécie de cientista colaborativo. Ele acredita que os legisladores devem atualizar as regras para acompanhar a rápida evolução da tecnologia.
“A questão é: você não usa mais IA? A questão é exatamente como você está usando IA e se ela é útil.”
Autores do estudo e financiamento
Os coautores incluem Xinyu Yang, estudante de doutorado em ciência da computação; Paul Ginsparg, professor de ciência da informação e física na Faculdade de Artes e Ciências da Universidade Cornell e fundador do arXiv; e Mathijs de Vaan e Toby Stuart, da Universidade da Califórnia, Berkeley.
A pesquisa foi apoiada pela National Science Foundation.
