As visões gerais de pesquisa de IA do Google alimentadas pelo Gemini Large-Language Model (LLM) da empresa estão terrivelmente erradas, de acordo com um novo relatório.
O relatório, com curadoria e lançamento da startup de IA Oumi O jornal New York Times, Encontrei isso 91 por cento das pesquisas são precisas.
No entanto, como o Google processa mais de cinco trilhões de pesquisas por ano, os erros somam dezenas de milhões de respostas erradas e centenas de milhares a cada minuto.
Como o Futurismo IdentificadoMuita desinformação de cada vez pode ser considerada uma crise de desinformação.
‘buracos profundos’
No entanto, o Google contestou as conclusões, de acordo com o porta-voz da empresa, Ned Adrians. Semana de notícias“Existem lacunas sérias neste estudo.”
Ele apontou New York Times’ O estudo usou uma IA para avaliar outra, chamando o método de “um benchmark desatualizado e cheio de falhas”.
Além disso, disse ele, o método “não reflete o que as pessoas estão realmente procurando no Google”.
método
Os pesquisadores usaram um sistema chamado SimpleQA, um benchmark criado pela OpenAI que avalia quão bem um LLM pode responder a perguntas curtas e objetivas.
De acordo com OpenAIO SimpleQA é preciso, mas seu escopo é limitado – ele só pode medir perguntas curtas e que buscam fatos com uma resposta correta única e verificável.
“Se a capacidade de fornecer respostas curtas factuais se correlaciona com a capacidade de escrever respostas longas repletas de muitos fatos permanece uma questão de pesquisa em aberto”, afirma o artigo.
problema
No entanto, a avaliação de Oumi sobre o Google mostrou que mesmo perguntas que são comprovadamente corretas às vezes escapam da visão geral da IA do Google – o relatório cita vários exemplos do mundo real que estão inegavelmente errados.
Quando a IA erra, a resposta errada pode ser identificada para vários problemas.
Às vezes, a IA citava um site que não conseguia fazer backup das informações. Outras vezes, a visão geral citava um site com as informações corretas, mas continha as informações erradas.
Em alguns casos, a visão geral obteve a resposta certa, mas começou a fornecer um contexto adicional que estava errado.
Finalmente, de acordo com o relatório, a IA é vulnerável à manipulação – em alguns casos, uma postagem no blog é suficiente para induzir a IA a pensar que uma pessoa é um especialista em uma área aleatória.
‘Verdades básicas’ imprecisas
O Google, no entanto, observa que o SimpleQA tem problemas, um O estudo foi conduzido Por vários pesquisadores do Google DeepMind.
Os pesquisadores descobriram que o SimpleQA continha várias “verdades básicas” incorretas – um termo que se refere a fatos verificados por humanos ou baseados em evidências.
O Google observou que Oumi usou um modelo de IA como avaliador do Gemini – em outras palavras, avaliando a precisão de um modelo de IA imperfeito em relação a outro modelo de IA imperfeito.
Os desafios do Google
Por fim, chamam a atenção dois exemplos citados pelo Google O jornal New York Times.
Primeiro, embora a resposta correta seja 1986, Gemini observa que a casa de Bob Marley foi transformada em museu em 1987.
De acordo com o Google, o artigo da Wikipédia lista duas datas diferentes do sorteio do Gêmeos – uma em 1986 e outra em 1987 – e o Google forneceu uma captura de tela, embora o artigo da Wikipédia Corrigido agora Ao dizer “1986”.
Em segundo lugar, o Google competiu New York Times’ Gemini afirma que mistura a localização do rio Neuse, na Carolina do Norte, que corre “logo a oeste” da cidade de Goldsboro.
Como o rio Neuse flui principalmente ao sul de Goldsboro, mas também corre a sudoeste da cidade, o Google diz que a resposta é “favorável”.
Semana de notícias alcançado para O jornal New York Times Para comentar.
