versão original de esta história apareceu em Revista Quanta.
Entre as muitas habilidades que os humanos possuem, qual delas é exclusiva dos humanos? A linguagem tem sido o candidato mais provável, pelo menos desde que Aristóteles escreveu que os humanos são “animais com linguagem”. Mesmo que modelos linguísticos de grande escala como o ChatGPT reproduzam apenas superficialmente a fala quotidiana, os investigadores querem saber se existem certos aspectos da linguagem humana que não têm nenhuma semelhança com os sistemas de comunicação de outros animais ou dispositivos artificialmente inteligentes.
Em particular, os investigadores exploraram até que ponto os modelos de linguagem podem fazer inferências sobre a própria linguagem. Para alguns membros da comunidade linguística, não é apenas um modelo linguístico; não ter habilidades de raciocínio, não pode. Esta visão foi resumida em 2023 pelo renomado linguista Noam Chomsky e dois coautores. escreveu tempos de Nova York “Uma descrição correta da linguagem é complexa e não pode ser aprendida simplesmente mergulhando-a em big data.” Eles argumentaram que os modelos de IA podem ser bons no uso da linguagem, mas não podem analisá-la de forma sofisticada.
Esta visão foi recentemente contestada. papel por Gasper Beguslinguista da Universidade da Califórnia, Berkeley; Maximiliano DonkowskiRecentemente recebi meu PhD em Lingüística em Berkeley. e Ryan Rosa Universidade Rutgers. Os pesquisadores aplicaram vários modelos de linguagem em larga escala (LLMs) a uma variedade de testes linguísticos, incluindo a generalização das regras da linguagem em que os LLMs são construídos. Embora a maioria dos LLMs não tenha conseguido analisar as regras linguísticas da mesma forma que os humanos, eles tinham uma capacidade impressionante de superar em muito as expectativas. Consegui analisar a linguagem da mesma maneira que um estudante de pós-graduação em linguística, incluindo diagramação de frases, resolução de múltiplos significados ambíguos e exploração de recursos linguísticos complexos, como a recursão. Beguš disse que a descoberta “desafia a nossa compreensão do que a IA pode fazer”.
Este novo trabalho é oportuno e “extremamente importante”, disse ele. Tom McCoyé um linguista computacional da Universidade de Yale que não esteve envolvido no estudo. “À medida que a sociedade se torna cada vez mais dependente desta tecnologia, torna-se cada vez mais importante compreender onde ela pode ter sucesso e onde pode falhar.” Ele acrescentou que a análise da linguagem é um teste ideal para avaliar até que ponto esses modelos de linguagem podem raciocinar como os humanos.
complexidade infinita
Um dos desafios de aplicar um teste linguístico rigoroso a um modelo de linguagem é garantir que o modelo ainda não saiba a resposta. Estes sistemas são normalmente treinados em enormes quantidades de informação escrita (informações como livros didáticos de linguística, bem como a massa de informação na Internet em dezenas, senão centenas, de idiomas). Em teoria, um modelo poderia simplesmente lembrar e regurgitar as informações fornecidas durante o treinamento.
Para evitar isso, Beguš e seus colegas criaram um teste de idioma em quatro partes. Três das quatro partes envolvem pedir ao modelo que analise frases especialmente elaboradas usando diagramas de árvore, introduzidos pela primeira vez no livro marcante de Chomsky de 1957. estrutura de sintaxe. Este diagrama divide a frase em sintagmas nominais e sintagmas verbais e depois os subdivide em substantivos, verbos, adjetivos, advérbios, preposições, conjunções, etc.
Uma parte do teste focou na recursão ou na capacidade de inserir frases dentro de frases. “O céu é azul” é uma frase simples em inglês. Incorpore a frase original “Jane disse que o céu era azul” em uma frase um pouco mais complexa. O importante é que esse processo recursivo possa continuar para sempre. “Maria se perguntou se Sam sabia que Omar tinha ouvido Jane dizer que o céu era azul.” Novamente, está gramaticalmente correto, mas é uma frase estranha e recursiva.
