Quem diabos é Elias Thorn? Ele aparece regularmente nas histórias contadas pelo chatbot. descoberto pela primeira vez Foi escrito pelo engenheiro de software Daniel May, mas até agora ninguém sabe por quê. De acordo com um novo estudo de pré-impressão: papel Relatado pela primeira vez pela 404 MediaA propagação da lenda de Elias pode estar relacionada aos guarda-corpos instalados nos modelos de IA durante o treinamento de segurança e alinhamento.
Se você precisa se atualizar sobre todas as coisas de Elias Thorne, papel Um bom lugar para começar é um livro publicado por pesquisadores da Universidade Cornell. Eles alimentaram cinco prompts diferentes para geração de histórias para vários modelos de IA, incluindo GPT-5.4 Mini da OpenAI, Claude Haiku 4.5 da Anthropic e Gemini 3.1 Flash-Lite do Google. Eles analisaram cerca de 20 mil histórias geradas pelo modelo e encontraram uma quantidade chocante de repetições. Onze palavras como farol, guardião, padeiro, prefeito, relojoeiro, pescador, bibliotecário e condutor, bem como os nomes Mara, Elias e Elara apareceram em impressionantes 88% de todas as histórias.
Para fins de narrativa, nenhuma combinação de um conjunto incrivelmente restrito de substantivos aparece com mais frequência do que Elias, o faroleiro, que aparece em dois terços de todas as histórias criadas. É quase idêntico à anedota. Casos fornecidos em maioEle também conseguiu vários outros modelos para escrever histórias e descobriu que o faroleiro Elias continuava aparecendo.
Então, qual é exatamente o problema? Os pesquisadores levantaram a hipótese de que isso poderia ter algo a ver com os dados de pré-treinamento inseridos nesses modelos, mas rapidamente descartaram essa possibilidade quando não encontraram nada que sugerisse que o “Farol Elias” aparecia com frequência excessiva nos dados de pré-treinamento ou na literatura usada para o treinamento.
Em vez disso, eles acreditam que o problema foi causado pelo uso de certos conjuntos de dados comumente usados em laboratórios de IA. Eles citaram o WildChat, um conjunto de dados de código aberto contendo milhões de conversas entre pessoas e chatbots baseados em GPT-3.5, como um possível exemplo. Este conjunto de dados foi criado para ajudar os pesquisadores a entender como as pessoas se comunicam com os bots, mas desde então tem sido usado para treinar uma variedade de modelos. Eles teorizaram que o treinamento de alinhamento destinado a afastar os modelos de personagens protegidos por direitos autorais e conteúdo adulto poderia, involuntariamente, fornecer alternativas “seguras”, como “Elias, o Faroleiro”, fazendo com que essas alternativas aparecessem repetidamente quando os usuários pedissem ao modelo para gerar histórias.
Elias Thorne, o faroleiro, pode servir como uma história infantil para dormir, mas 404 reportagens da mídia Acho que o nome do personagem está se espalhando. A publicação encontrou exemplos de “artistas” listados sob nomes de protagonistas em livros de fantasia e faixas de música ambiente disponíveis na Amazon. Maio também casos encontrados Este é um livro de Elias Thorne, autor de livros que incluem um manual que pretende fornecer informações sobre tratamentos alternativos contra o câncer. Então isso não é bom.
No mínimo, a estranha estranheza da narrativa do LLM é um bom lembrete de que a IA não é criativa. Um estudo publicado no ano passado descobriu que os modelos de geração de imagens geram repetidamente imagens correspondentes a apenas um dos 12 motivos específicos, não importa quão externo um determinado prompt possa ser. Basicamente, dê a uma IA uma tarefa criativa e você dará a ela o equivalente a uma música de elevador.
