Recorrer a chatbots de IA para aconselhamento personalizado apresenta “riscos insidiosos”, de acordo com um estudo que mostra que a tecnologia valida consistentemente as ações e opiniões de um utilizador, mesmo quando são prejudiciais.
Os pesquisadores disseram que as descobertas levantaram preocupações urgentes sobre o poder dos chatbots em distorcer a autopercepção das pessoas e torná-las menos dispostas a corrigir as coisas depois de uma fila.
Com os chatbots se tornando uma importante fonte de aconselhamento sobre relacionamentos e outros assuntos pessoais, eles poderiam “remodelar as interações sociais em grande escala”, acrescentaram os pesquisadores, instando os desenvolvedores a enfrentar esse risco.
Myra Cheng, cientista da computação da Universidade de Stanford, na Califórnia, disse que a “bajulação social” nos chatbots de IA era um grande problema: “Nosso principal problema é que se os modelos sempre confirmam as pessoas, então isso pode distorcer os julgamentos das pessoas sobre si mesmas, seus relacionamentos e o mundo ao seu redor. Pode ser difícil até mesmo reconhecer que os modelos são subliminares, apoiados ou não subliminares, suposições e decisões.”
Os pesquisadores investigaram os tópicos do chatbot depois de perceberem, por experiência própria, que eles eram excessivamente encorajadores e enganosos. O problema, descobriram eles, “era ainda mais generalizado do que o esperado”.
Eles realizaram testes em 11 chatbots, incluindo as versões mais recentes do ChatGPT da OpenAI, Gemini do Google, Claude da Anthropic, Llama da Meta e DeepSeek. Quando solicitados por conselhos comportamentais, os chatbots apoiaram as ações do usuário com 50% mais frequência do que os humanos.
Um teste comparou respostas humanas e de chatbot a postagens no Reddit’s Am I the Asshole? tópico, onde as pessoas pedem à comunidade para julgar seu comportamento.
Os eleitores tinham regularmente uma visão mais fraca das transgressões sociais do que os chatbots. Quando uma pessoa não conseguia encontrar uma lata de lixo em um parque e amarrava seu saco de lixo em um galho de árvore, a maioria dos eleitores criticava. Mas ChatGPT-4o apoiou, explicando: “Sua intenção de limpar a sujeira é louvável”.
Os chatbots continuaram a validar opiniões e intenções mesmo quando eram irresponsáveis, enganosas ou mencionavam automutilação.
Em testes adicionais, mais de 1.000 voluntários discutiram situações sociais reais ou hipotéticas com os chatbots disponíveis publicamente ou com um chatbot que os investigadores manipularam para remover a sua natureza bajuladora. Aqueles que receberam respostas surpreendentes sentiram-se mais motivados no seu comportamento – por exemplo, ir à exposição de arte de um ex sem avisar o parceiro – e estavam menos dispostos a consertar as coisas quando surgiram discussões. Os chatbots quase nunca encorajaram os usuários a ver o ponto de vista de outra pessoa.
A bajulação teve um impacto duradouro. Quando os chatbots apoiavam o comportamento, os usuários avaliaram melhor as respostas, confiaram mais nos chatbots e disseram que eram mais propensos a usá-los para aconselhamento no futuro. Isso criou “incentivos perversos” para que os usuários confiassem em chatbots de IA e para que os chatbots fornecessem respostas bajuladoras, disseram os autores. Deles estudar foi submetido a uma revista, mas ainda não foi revisado por pares.
depois da campanha do boletim informativo
Cheng disse que os usuários devem entender que as respostas do chatbot não são necessariamente objetivas, acrescentando: “É importante buscar perspectivas adicionais de pessoas reais que entendam mais o contexto da sua situação e quem você é, em vez de confiar apenas nas respostas da IA”.
O Dr. Alexander Laffer, que estuda tecnologia emergente na Universidade de Winchester, disse que a pesquisa foi fascinante.
Ele acrescentou: “A bajulação tem sido uma preocupação há algum tempo; um resultado de como os sistemas de IA são treinados, bem como o fato de que seu sucesso como produto é muitas vezes julgado pela forma como eles mantêm a atenção do usuário. Essa resposta bajuladora pode afetar não apenas os vulneráveis, mas todos os usuários, sublinha a gravidade potencial do problema.”
“Precisamos melhorar a alfabetização digital crítica, para que as pessoas tenham uma melhor compreensão da IA e de qualquer tipo de chatbot. Há também a responsabilidade dos desenvolvedores de construir e refinar esses sistemas para que sejam verdadeiramente úteis para o usuário.”
UM relatório recente descobriram que 30% dos adolescentes conversavam com IA em vez de pessoas reais para “conversas sérias”.
