Os agentes de IA estão definitivamente se divertindo. Entre os recentes vírus garra aberta, livro de malte E abra a IA Planejando usar a funcionalidade do agente Levar isso para o próximo nível pode ser o ano do agente.
por que? Bem, eles podem fazer planos. Escreva o códigonavegar na web Execute tarefas de várias etapas Com pouca ou nenhuma supervisão. Alguns até prometem gerenciar seu fluxo de trabalho. Outros trabalham com ferramentas e sistemas na área de trabalho.
O apelo é claro. Esses sistemas não apenas respondem. eles Ação – Para você e em seu nome. Mas os pesquisadores por trás disso Índice de agentes de IA do MIT Depois de catalogar 67 sistemas de agentes implantados, descobrimos algo perturbador.
Os desenvolvedores querem explicar o que o agente pode fazer. fazer. Eles estão muito menos entusiasmados em explicar se esses agentes: seguro.
“Os principais desenvolvedores e startups de IA estão implantando cada vez mais sistemas de IA de agentes que podem planejar e executar tarefas complexas com intervenção humana limitada.” Os pesquisadores escreveram em seu artigo:. “No entanto, atualmente não existe uma estrutura estruturada para documentar os recursos de segurança dos sistemas dos agentes.”
Essa lacuna é claramente visível nos números. Cerca de 70% dos agentes indexados fornecem documentação e quase metade publica código. No entanto, apenas cerca de 19% divulgam políticas formais de segurança e menos de 10% relatam avaliações externas de segurança.
Este estudo destaca que os desenvolvedores podem promover rapidamente os recursos e as aplicações reais dos sistemas de agentes, ao mesmo tempo que fornecem rapidamente informações limitadas sobre segurança e riscos. O resultado é uma transparência unilateral.
O que é considerado um agente de IA?
Os pesquisadores pensaram cuidadosamente sobre o que foi escolhido, mas nem todos os chatbots se qualificaram. Para ser incluído, o sistema teve de funcionar com objectivos subespecificados e prosseguir esses objectivos ao longo do tempo. Além disso, a intervenção humana foi limitada e foi necessário tomar medidas para impactar o meio ambiente. Este é um sistema que determina suas próprias etapas intermediárias. Você pode dividir instruções amplas em subtarefas, usar ferramentas, planejar, concluir e repetir.
Essa autonomia os torna poderosos. Isso também aumenta o risco.
Se um modelo simplesmente gera texto, as falhas desse modelo geralmente são incluídas em sua saída. Quando os agentes de IA podem acessar arquivos, enviar e-mails, fazer compras e modificar documentos, erros e abusos podem causar danos e se propagar em vários níveis. No entanto, os pesquisadores descobriram que a maioria dos desenvolvedores não detalha publicamente como testam esses cenários.
Os recursos são públicos, as grades de proteção não.
O padrão mais marcante é pesquisar Não está escondido no fundo da mesa. Isto é repetido ao longo do artigo.
Embora os desenvolvedores se sintam confortáveis em compartilhar demonstrações, benchmarks e usabilidade desses agentes de IA, eles são muito menos consistentes quando se trata de compartilhar avaliações de segurança, procedimentos de testes internos ou auditorias de risco de terceiros.
Este desequilíbrio torna-se mais importante à medida que os agentes passam de protótipos para atores digitais integrados em fluxos de trabalho do mundo real. Muitos sistemas de indexação operam em áreas como engenharia de software e computação, ou seja, em ambientes que envolvem dados confidenciais e controle significativo.
O Índice de Agentes de IA do MIT não afirma que a IA dos agentes seja insegura em geral, mas mostra que, à medida que a autonomia aumenta, a transparência estruturada em torno da segurança não acompanha o ritmo.
A tecnologia está acelerando. Os guarda-corpos são mais difíceis de ver, pelo menos publicamente.
