Um dos cientistas de IA mais importantes da Big Tech quer abandonar a abordagem atual de construção de IA em nível humano. Yann LeCun destacou que o que precisamos não é de um modelo de linguagem em grande escala, mas de um “modelo mundial”.
LeCun, cientista-chefe de IA da ‘pesquisa básica de IA’ da Meta, espera renunciar à Meta em breve De acordo com maioria relatório De mídia confiável. LeCun é o estadista mais velho da ciência da IA, de 65 anos, e seu trabalho como cérebro de IA em uma das maiores empresas de tecnologia do mundo deu-lhe recursos aparentemente ilimitados à sua disposição.
Por que ele está deixando uma empresa que gasta enormes quantias de dinheiro trazendo os especialistas em IA mais experientes de outras empresas? postagem no blog O CEO Mark Zuckerburg deu um salto tão incrível dentro da empresa que “o desenvolvimento da superinteligência está chegando”?
Na verdade, ele está insinuando a resposta há muito tempo. Quando se trata de inteligência de nível humano, LeCun tornou-se recentemente famoso por dizer que os LLMs como os conhecemos são estúpidos e não valem mais a pena persegui-los, não importa o quanto a Big Tech os dimensione. ele disse em abril do ano passado “O LLM é basicamente uma rampa de acesso, uma distração, um beco sem saída.” (Gary Marcus, um importante crítico de IA, Rasgado por LeCun Marcus por defender “militantemente” o LLM contra suas próprias críticas e depois derrubá-lo.)
jornal de Wall Street Análise de carreira de LeCun À luz desta crença, publicado na sexta-feira aponta para várias possibilidades diferentes sobre o motivo da sua saída. No verão passado, Alexandr Wang, de 28 anos, cofundador da sensação ChatGPT, baseada em LLM, tornou-se chefe de IA na Meta e chefe do novato fanático por LLM LeCun. E Meta recrutou um cientista-chefe relativamente jovem, Shengjia Zhao, para trabalhar além de LeCun este ano. Meta anuncia o novo papel de Zhao propaganda Ele claramente forneceu um “avanço” em escalabilidade. LeCun diz Eu perdi a fé em escalar.
Se você está se perguntando como LeCun pode ser o cientista-chefe se Zhao é o cientista-chefe, é porque parece que o trabalho de IA da Meta tem os seguintes recursos: organograma estranho, Está dividido em vários grupos separados. Num esforço para corrigir tudo isto, centenas de pessoas foram despedidas no mês passado.
‘Tempos Financeiros’ relatório LeCun agora procurará startups focadas em “modelos globais”, de acordo com LeCun no início desta semana.
Mais uma vez, LeCun não hesitou em explicar por que acha que o Modelo Mundial contém as respostas de que a IA precisa. ele é discurso detalhado sobre isso No AI Action Summit realizado em Paris em fevereiro passado Foi um tanto ofuscado pelo representante dos EUA, vice-presidente J.D. Vance.Todos fizeram discursos beligerantes sobre como seria melhor desviar-se do caminho da América em matéria de IA.
Por que Yann LeCun é tão fascinado por modelos internacionais?
Como você pode ver no discurso —LeCun desenvolveu os óculos inteligentes Meta AI, mas ~ não Nível significativo no Llama LLM da Meta—Eu acredito muito em wearables.
É incrível como os óculos Ray-Ban Meta podem ajudar os deficientes visuais. https://t.co/w3ZxCFtTlE
-Yann LeCun (@ylecu) 30 de setembro de 2024
Precisaremos interagir com os wearables do futuro Como se fosse uma pessoa, Ele acha que o LLM não entende o mundo como as pessoas. Com o LLM, “você não pode reproduzir a inteligência dos gatos ou dos ratos, muito menos a inteligência dos cães. Eles são capazes de feitos incríveis. Eles entendem o mundo físico. Todos os gatos domésticos podem planejar ações muito, muito complexas. E eles têm um modelo causal do mundo.”
LeCun oferece um experimento mental para ilustrar o que ele acha que pode desencadear um modelo mundial, algo que os LLMs não podem fazer, mas que ele acha que os humanos podem fazer facilmente.
“Eu disse: ‘Imagine um cubo flutuando no ar à sua frente. Agora gire esse cubo 90 graus em torno de seu eixo vertical. Como ele se parece?’ “É muito fácil ter um modelo mental de que o cubo está girando.”
Claro, com muito pouco esforço, um LLM pode escrever uma piada suja sobre um cubo flutuante e giratório, mas não pode realmente ajudá-lo a interagir com o cubo. LeCun afirma que isso se deve à diferença entre os dados de texto e os dados obtidos pelo processamento das inúmeras partes não textuais do mundo. Embora os LLMs aprendam uma quantidade de texto que levaria 450.000 anos para ler, LeCun diz que em 16.000 horas de vigília, uma criança de 4 anos processou 1,4 x 10^14 bytes de dados sensoriais sobre o mundo com os olhos ou através do tato. Ele diz que isso é maior do que um LLM.
Aliás, essas são apenas as estimativas que LeCun deu em seu discurso. Ele conta para outras pessoas. Mas a abstracção que os números apontam é que o LLM é limitado de uma forma que LeCun pensa que um modelo do mundo não seria.
Que modelo LeCun deseja criar e como ele o criará?
LeCun já Comecei a trabalhar no modelo de mundo no Meta.—Inclui a criação de um vídeo introdutório que incentiva os alunos a imaginar um cubo giratório.
O modelo dos sonhos de LeCun, descrito em seu discurso no AI Action Summit, contém “estimativas atuais sobre o estado do mundo” na forma de uma espécie de representação abstrata. todosOu pelo menos qualquer coisa que tenha a ver com a situação atual e, em vez de previsões sequenciais e simbólicas, “prevê o estado resultante do mundo que ocorrerá depois de você realizar uma série de ações”.
Ele disse que os modelos mundiais permitirão que os cientistas da computação do futuro construam “sistemas que possam raciocinar e planejar ações hierarquicamente para atingir um objetivo”. LeCun também argumenta que estes sistemas terão características de segurança mais fortes porque a forma como os controlamos será incorporada neles, em vez de serem misteriosas caixas pretas que cospem texto e precisam ser melhoradas através de ajustes finos.
Na IA clássica, como no software usado nos motores de busca, todos os problemas podem ser reduzidos à otimização, diz LeCun. O seu modelo mundial, sugere ele, olharia para o estado actual do mundo e procuraria compatibilidade com outros estados, encontrando soluções eficientes. “Queremos uma função de energia que meça a incompatibilidade e, dado x, encontramos y que tem a energia mais baixa para esse x”, disse LeCun em seu discurso.
Novamente, este é apenas um relatório confiável de um vazamento sobre os planos de LeCun e ele nem sequer confirmou que está criando algo novo. Se tudo o que pudermos juntar das declarações públicas de LeCun parecer provisório e um pouco vago nesta fase, seria. LeCun parece estar pressionando por uma explosão de capacidades sobrenaturais como o ChatGPT com um lançamento lunar em mente. Coisas verdadeiramente surpreendentes podem literalmente levar uma eternidade, para não mencionar bilhões de dólares em investimentos, para se concretizarem.
O Gizmodo entrou em contato com Meta para comentar como o trabalho de LeCun se encaixa na missão de IA da empresa e atualizará quando recebermos uma resposta.
