Início ANDROID As pequenas melhorias do GPT-5 mostram desaceleração do progresso da IA

As pequenas melhorias do GPT-5 mostram desaceleração do progresso da IA

15
0

GPT-5 é a versão mais recente do modelo de linguagem grande da OpenAI

Imagens de Cheng Xin/Getty

O último passo em frente da IA ​​não é um salto gigantesco, mas sim uma mudança provisória. OpenAI lançou seu mais novo modelo de IA, GPT-5dois anos após o lançamento do GPT-4, cujo sucesso impulsionou o ChatGPT ao domínio mundial. Mas, apesar da promessa de melhorias de capacidade semelhantes, o GPT-5 parece mostrar poucas melhorias em relação a outros modelos líderes de IA. Isto sugere que a indústria pode precisar de novas abordagens para construir sistemas de IA mais inteligentes.

A própria declaração da OpenAI elogiou o GPT-5 como um “salto significativo em inteligência” em relação aos modelos anteriores da empresa, mostrando melhorias marcantes em programação, matemática, escrita, informações de saúde e compreensão visual. Também promete uma frequência menos frequente de alucinações, que é quando a IA apresenta informações falsas como informações verdadeiras. Num benchmark interno que mede “o desempenho em trabalhos de conhecimento complexos e economicamente valiosos”, a OpenAI disse que o GPT-5 era “comparável ou melhor que os especialistas em cerca de metade dos casos… em tarefas que abrangem mais de 40 empregos, incluindo jurídico, logística, vendas e engenharia”.

No entanto, o desempenho do GPT-5 em benchmarks públicos não é muito melhor do que os modelos líderes de outras empresas de IA, como Claude da Anthropic ou Gemini do Google. Essas melhorias ocorrem em relação ao GPT-4, mas as diferenças em muitos benchmarks são menores do que o salto do GPT-3 para o GPT-4. Muitos clientes ChatGPT também têm não impressionadocom exemplos da falha do GPT-5 em responder a perguntas aparentemente simples, ganhando ampla atenção nas redes sociais.

“Muitas pessoas esperavam que houvesse um avanço, mas não foi um avanço”, disse ele Mirella Lapata na Universidade de Edimburgo, Reino Unido. “É uma melhoria e parece uma melhoria.”

As medições de desempenho mais abrangentes do GPT-5 vêm do próprio OpenAI, já que apenas o OpenAI tem acesso total ao modelo. Poucos detalhes sobre benchmarks internos foram divulgados, disse ele Ana Rogers na Copenhagen IT University, na Dinamarca. “Portanto, isso não é algo que possa ser seriamente discutido como uma afirmação científica.”

Em coletiva de imprensa antes do lançamento do modelo, Sam, CEO da Openai Altman afirma que “GPT-5 é a primeira vez que parece falar com um especialista sobre qualquer assunto, como um especialista em nível de doutorado”. Mas isto não é apoiado por referências, disse Rogers, e não está claro como um doutoramento se relaciona com a inteligência geral. “Uma pessoa muito inteligente não tem necessariamente um doutoramento, e ter um não garante necessariamente uma elevada inteligência”, disse Rogers.

As melhorias aparentemente simples do GPT-5 podem ser um sinal de dificuldades mais amplas para os desenvolvedores de IA. Até recentemente, os grandes modelos de linguagem (LLMs) eram considerados mais capazes com mais dados de treinamento e poder computacional. Isto não parece mais ser suportado pelos resultados recentes do modelo, e a empresa não conseguiu encontrar um design de sistema de IA melhor do que aquele que suporta ChatGPT. “Todo mundo tem a mesma receita hoje em dia e sabemos qual é”, disse Lapata, referindo-se ao processo de pré-treinamento de modelos com grandes quantidades de dados e, posteriormente, fazer ajustes nos processos pós-treinamento.

No entanto, é difícil dizer o quão próximo o LLM está da estagnação porque não sabemos exatamente como modelos como o GPT-5 são projetados, disse Nikos Aletras na Universidade de Sheffield, Inglaterra. “Tentar fazer generalizações sobre (se) grandes modelos de linguagem falham pode ser prematuro. Não podemos fazer essas afirmações sem informações sobre os detalhes técnicos.”

A OpenAI tem trabalhado em outras maneiras de tornar seus produtos mais eficientes, como seu novo sistema de roteamento GPT-5. Ao contrário do ChatGPT anterior, onde as pessoas podiam escolher qual modelo de IA usar, o GPT-5 agora verifica as solicitações e as direciona para um modelo específico que usará a quantidade apropriada de poder computacional.

Esta abordagem pode ser adotada de forma mais ampla, disse Lapata. “Os modelos de raciocínio usam muito (cálculos), e isso leva tempo e dinheiro”, disse ele. “Se você puder responder a isso com um modelo menor, veremos mais disso no futuro.” Mas a mudança irritou alguns clientes do ChatGPT, levando Altman a se manifestar a empresa está procurando na melhoria do processo de roteamento.

Há sinais mais positivos para o futuro da IA ​​em um modelo OpenAI separado que ganhou medalhas de ouro em competições de elite de matemática e codificação no mês passado, algo que os principais modelos de IA não conseguiram fazer há um ano. Embora os detalhes sobre como o modelo funciona sejam escassos, Os funcionários da OpenAI têm disse que seu sucesso mostra que o sistema possui capacidades de raciocínio mais gerais.

A competição é útil para testar modelos baseados em dados que não foram vistos durante o treinamento, disse Aletras, mas ainda é um teste restrito de inteligência. Melhorar o desempenho de um modelo numa área também pode piorar o desempenho do modelo noutra área, disse Lapata, e isto pode ser difícil de acompanhar.

Uma área onde o GPT-5 obteve melhorias significativas é o preçoque agora é muito mais barato do que outros modelos – o melhor modelo Claude da Anthropic, por exemplo, o preço é cerca de 10 vezes maior para processar o mesmo número de solicitações no momento da redação. Mas isto poderá criar os seus próprios problemas a longo prazo, se as receitas da OpenAI não conseguirem cobrir os enormes custos em que incorreu para construir e gerir novos centros de dados. “O preço é ridículo. É tão barato que não sei como eles conseguem pagar”, disse Lapata.

A concorrência entre os principais modelos de IA é acirrada, especialmente com a expectativa de que o primeiro modelo superior aos demais detenha a maior parte da participação de mercado. “Todas essas grandes empresas estão tentando ser vencedoras, e isso é difícil”, disse Lapata. “Você é um vencedor por três meses.”

Tópico:

Source link