O lançamento rigidamente controlado de Claude Mythos pela Anthropic tomou um rumo estranho. Depois de semanas insistindo que os modelos de IA são tão capazes em termos de segurança cibernética que são demasiado perigosos para serem tornados públicos, parece que caíram nas mãos erradas.
De acordo com BloombergUm “pequeno grupo de usuários não autorizados” teve acesso ao Mythos – cuja existência foi revelada pela primeira vez em um vazamento – desde que a Anthropic anunciou planos de oferecê-lo a um seleto grupo de empresas para testes. A Antrópica disse que está investigando. Essa é uma visão geral de uma empresa que construiu sua marca levando a sério a segurança da IA, ao mesmo tempo em que elogiava as proezas de segurança cibernética de seus modelos mais recentes.
Do ponto de vista tecnológico, o ataque do Mythos é muito simples. Bloomberg relatou que o grupo acessou a Mythos fazendo “uma suposição fundamentada sobre a localização online do modelo”, usando informações sobre outros modelos Antrópicos expostos na violação da Mercor – uma empresa que cria dados de treinamento de IA – juntamente com o acesso que um membro teve por meio de um contrato de trabalho avaliando modelos Antrópicos. O grupo obteve acesso não autorizado ao Mythos através de uma combinação de conhecimento interno e suposições de sorte, e não de exploração tecnológica avançada ou roubo de modelo no atacado.
As vulnerabilidades de segurança são inevitáveis, e foi a Mercor, e não a Anthropic, quem divulgou as informações que os hackers usaram para adivinhar a localização da Mythos. Pia Hüsch, investigadora do think tank britânico Royal United Services Institute (RUSI), disse-me que nenhuma empresa é completamente segura e que os humanos são muitas vezes os mais fracos, embora “no início parecesse um pouco de sorte” não ter havido consequências graves.
A Anthropic não conseguiu prever um fracasso “totalmente concebível”
Mas não é totalmente azar. Esse tipo de adivinhação inteligente é uma técnica de hacking muito comum, e a violação da Mercor era conhecida antes do lançamento do Mythos. O pesquisador de segurança Lukasz Olejnik descreveu isso para mim como uma falha “imaginável” que a indústria de segurança cibernética tem enfrentado rotineiramente nos últimos 20 anos. Portanto, a Antrópica deveria ter se antecipado e estar preparada, principalmente sabendo que suas informações haviam sido comprometidas.
A Antrópica também parece ter meios para descobrir tais violações. A empresa conseguiu “registrar e rastrear o uso do modelo”, disse Olejnik, o que possibilitou impedir o acesso não autorizado ou malicioso, especialmente porque o lançamento do Mythos deveria ser muito limitado. Aparentemente, a Anthropic não o estava monitorando de perto o suficiente – e considerando o quão perigoso o modelo é, é razoável perguntar por quê.
Por cortesia da Bloomberg No entanto, o grupo não usou o Mythos para tarefas de segurança cibernética, em parte porque eles apenas queriam brincar com o novo modelo e em parte porque isso poderia perturbar a Anthropic. Se a mensagem da Anthropic em torno do Mythos for levada a sério, será um golpe de sorte. A empresa tem emoldurado A Mythos chamou de “momento divisor de águas para a segurança”, alegando que encontrou vulnerabilidades em “todos os principais sistemas operacionais e navegadores da web” e disse que sua implementação deveria ser coordenada para dar tempo para “fortalecer as defesas cibernéticas do mundo”.
A Anthropic tem o hábito de usar uma linguagem dramática e alarmista que torna difícil interrogar com clareza, inclusive provocando a ideia de que seu modelo Claude possa estar consciente. Mesmo assim, os relatórios iniciais das partes com acesso indicam que a Mythos é altamente qualificada em segurança cibernética. O CTO da Mozilla, Bobby Holley, disse que encontrou centenas de bugs no Firefox 150 e poderia finalmente dar aos defensores a chance de alcançar a vitória completa sobre os atacantes. Não é de surpreender que o governo e instituições financeiras o mundo inteiro está ansioso para obtê-lo. A NSA e outras agências dos EUA teriam tido acesso, embora a Antrópico tivesse sido designada como um risco para a cadeia de abastecimento, embora até agora a implementação pareça ter contornado a agência de segurança cibernética dos EUA, CISA.
“A Anthropic afirma estar na vanguarda de toda essa tecnologia, mas também se posiciona como um ator responsável em tudo isso.”
O fato de a violação ter sido divulgada por um repórter e não pela Anthropic também levanta a questão óbvia de se este foi um incidente isolado. Isto “realmente ilustra quão amplo é o círculo de pessoas que podem ser capazes de fazer isso, mesmo que não tenham meios muito avançados tecnicamente”, disse Hüsch. A Anthropic provavelmente irá vasculhar a sua cadeia de abastecimento para ver como isto se desenrola e colmatar a lacuna, mas disse que há muitos intervenientes que querem acesso a este tipo de modelo, alguns dos quais têm muito dinheiro. Não há razão para supor que outros que obtenham acesso serão tão limitados quanto esse grupo Bloomberg relatado.
A Antrópica, até certo ponto, deu um tiro no próprio pé. A empresa construiu a sua identidade levando a segurança da IA mais a sério do que os seus concorrentes, criando expectativas extremamente elevadas para o seu modelo de segurança que desmentem a sua imprudência; o fato de o Mythos se desenrolar através de um fracasso fundamental e previsível apenas ressalta esse ponto. Pior ainda, ao tratar o Mythos como uma ferramenta incrivelmente poderosa e perigosa demais para ser divulgada ao público, a Anthropic o transformou em um alvo óbvio, seja para atores mal-intencionados ou hackers apenas em busca de um desafio.
Este não é nem o primeiro incidente de segurança estranho em Mythos. A existência do modelo foi revelada acidentalmente antes de seu lançamento via “conjuntos de dados inseguros“em um sistema central que contém conteúdo para seu site. Agora, esse modelo foi acessado secretamente por meio de uma vulnerabilidade completamente previsível que a Anthropic não pensou em corrigir. A perfeição é impossível, mas para uma empresa que se estabeleceu como a vanguarda da segurança de IA, é difícil justificar um erro tão fundamental, mesmo com o azar que sofreu.
Para Hüsch, todo o episódio pode ser resumido em uma palavra: humilhação. “A Antrópica afirma estar na vanguarda de toda essa tecnologia, mas também se posiciona como um ator responsável em tudo isso”, afirmou. “O facto de isto ter sido agora acedido tão rapidamente através de meios não autorizados e através de esforços pouco sofisticados é verdadeiramente um insulto para eles.”
