No final das contas, os modelos de IA podem ser um pouco como os humanos.
novo estudar Pesquisadores da Universidade do Texas em Austin, Texas A&M e Purdue University mostram que modelos de linguagem em grande escala alimentados com conteúdo de mídia social popular, mas de baixa qualidade, experimentam o tipo de “podridão cerebral” que pode ser familiar para qualquer um que esteja rolando a destruição no X ou no TikTok por muito tempo.
“Vivemos numa época em que a informação cresce mais rapidamente do que a nossa capacidade de atenção, e grande parte dela é concebida para captar cliques em vez de transmitir verdade ou profundidade”, diz Junyuan Hong, novo professor assistente na Universidade Nacional de Singapura que trabalhou no estudo quando era estudante de pós-graduação na UT Austin. “Perguntámo-nos: o que aconteceria se a IA fosse treinada nas mesmas coisas?”
Hong e seus colegas alimentaram dois grandes modelos de linguagem de código aberto com diferentes tipos de texto no pré-treinamento. Eles analisaram o que acontecia quando modelos eram apresentados a postagens nas redes sociais que eram muito “atraentes” ou amplamente compartilhadas, bem como postagens contendo textos sugestivos ou exagerados, como “Uau”, “Dê uma olhada” ou “Só por hoje”.
Os pesquisadores então usaram vários benchmarks para medir o impacto dessa dieta “lixo” de mídia social em dois modelos de código aberto: Llama da Meta e Qwen do Alibaba.
Os modelos alimentados com texto indesejado experimentaram uma forma de deterioração cerebral da IA, com declínio cognitivo, incluindo capacidade de raciocínio reduzida e memória fraca. Além disso, duas medidas mostraram que o modelo tornou-se menos alinhado eticamente e mais psicopático.
Os resultados refletem estudos em humanos. mostrar Conteúdo online de baixa qualidade efeitos nocivos Sobre as habilidades cognitivas das pessoas. O fenômeno tornou-se tão difundido que o termo “podridão cerebral” entrou no Dicionário Oxford. Palavra do Ano 2024.
Hong disse que os resultados são importantes para a indústria de IA. Isso ocorre porque os construtores de modelos podem presumir que as postagens nas redes sociais são uma boa fonte de dados de treinamento de modelos. “O treinamento sobre conteúdo viral ou envolvente pode parecer uma extensão dos dados”, diz ele. “Mas pode minar silenciosamente o interesse pelo raciocínio, pela ética e pelo contexto de longo prazo.”
O facto de os LLMs estarem a sofrer de podridão cerebral parece particularmente preocupante, uma vez que a própria IA gera cada vez mais conteúdo nas redes sociais, muitos dos quais parecem estar optimizados para o envolvimento. Os pesquisadores também descobriram que os modelos danificados por conteúdo de baixa qualidade não podem ser facilmente melhorados por meio de reciclagem.
As descobertas também sugerem que os sistemas de IA construídos em plataformas sociais como o Grok podem sofrer problemas de controlo de qualidade se as publicações geradas pelos utilizadores forem utilizadas para formação sem considerar a integridade das publicações.
“À medida que mais resíduos gerados pela IA se espalham pelas redes sociais, eles poluem os próprios dados com os quais os modelos futuros aprenderão”, diz Hong. “Nossas descobertas mostram que, uma vez que esse tipo de ‘podridão cerebral’ se instala, o treinamento subsequente não pode revertê-lo completamente.”
Esta é a próxima edição. Will Knight’s Boletim Informativo do Laboratório de IA. Leia boletins informativos anteriores aqui.
