A maneira como você fala com um chatbot pode ser mais importante do que você pensa
Oscar Wong/Getty Images
Falar com um chatbot de IA numa linguagem menos formal, como muitas pessoas fazem, reduz a precisão das suas respostas – isto sugere que precisamos de ser mais rigorosos linguisticamente ao usar chatbots, ou que a IA precisa de ser treinada para se adaptar melhor à informalidade.
Fulei Zhang e Zhou Yu, da Amazon, observaram como as pessoas iniciavam conversas com agentes humanos em comparação com assistentes de chatbot alimentados por grandes modelos de linguagem (LLM). Eles usaram o modelo Claude 3.5 Sonnet para pontuar conversas com base em vários fatores e descobriram que as pessoas que interagiam com chatbots usavam uma gramática menos precisa e eram menos educadas do que quando conversavam com humanos. Eles também usam um vocabulário um pouco mais restrito.
Por exemplo, as interações entre humanos foram 14,5% mais educadas e formais do que as conversas com chatbots, 5,3% mais suaves e 1,4% mais diversificadas em termos lexicais, de acordo com as pontuações obtidas por Claude.
“Os usuários adaptam seus estilos linguísticos em conversas humanas-LLM, resultando em mensagens mais curtas, mais diretas, menos formais e gramaticalmente mais simples”, escreveram os autores, que não responderam aos pedidos de entrevista, em um artigo sobre o trabalho. “Esse comportamento é provavelmente moldado pelos modelos mentais dos usuários do chatbot LLM que são menos sensíveis socialmente ou menos capazes de interpretações diferentes.”
Contudo, verifica-se que esta informalidade tem um lado negativo. Na segunda avaliação, os pesquisadores treinaram um modelo de IA chamado Mistral 7B em 13.000 conversas entre humanos do mundo real e o usaram para interpretar 1.357 mensagens do mundo real enviadas ao chatbot de IA. Eles anotaram cada conversa em ambos os conjuntos de dados com uma “intenção” extraída de uma lista limitada, que resume o que o usuário estava tentando fazer em cada caso. Mas como a IA Mistral foi treinada para conduzir conversas entre humanos, a dupla descobriu que a IA teve dificuldade para rotular adequadamente a intenção de conversação do chatbot.
Zhang e Yu então tentaram várias estratégias para melhorar a compreensão da Mistral AI. Primeiro, eles usaram a IA de Claude para reescrever mensagens curtas dos usuários em prosa humana e usaram isso para melhorar o modelo de Mistral. Isso reduz a precisão dos rótulos de intenção em 1,9% em comparação com a resposta padrão.
Em seguida, eles usaram Claude para fornecer reescritas “mínimas”, que são mais curtas e contundentes (por exemplo, “Paris no próximo mês. Voos de hotéis?” para perguntar sobre opções de viagem e acomodação para uma próxima viagem), mas isso reduziu a precisão de Mistral em 2,6%. Alternativamente, as reescritas “enriquecidas” com uma linguagem mais formal e variada também experimentaram uma diminuição de 1,8% na precisão. Somente treinando o modelo Mistral em reescritas mínimas e enriquecidas é que eles observaram um aumento de desempenho de 2,9%.
Noah Giansiracusa da Universidade Bentley, em Massachusetts, diz que não está surpreso que as pessoas falem com bots de maneira diferente dos humanos, mas não é algo a evitar.
“A descoberta de que as pessoas comunicam de forma diferente com os chatbots e com outros humanos é tentadoramente rejeitada como uma fraqueza dos chatbots – mas não creio que isso seja verdade, seria bom se as pessoas soubessem que estão a falar com um bot e ajustassem o seu comportamento em conformidade”, disse Giansiracusa. “Acho que isso é mais saudável do que tentar obsessivamente diminuir a distância entre humanos e bots.”
Tópico: