Muitos de nós ouvimos falar de nosso presidente recentemente.civilização inteiraUma empresa de tecnologia no Vale do Silício estava alertando que poderia ser interrompido acidentalmente sem aviso prévio. Todos civilização como a conhecemos.
A empresa de tecnologia de São Francisco Antrópica disse em um comunicado na terça-feira. não foi Claude AI está lançando uma nova versão de seu supercérebro – porque é tão poderoso que é capaz de invadir praticamente qualquer sistema de computador, não importa quão seguro seja, em questão de dias, senão horas.
“As consequências para as economias, a segurança pública e a segurança nacional podem ser graves”, disse a Anthropic. ele disse em um comunicado.
A preocupação com a inteligência artificial não é novidade. Preocupamo-nos com o facto de a inteligência artificial assumir o controlo, com os brinquedos que parecem demasiado reais para os nossos filhos, com o facto de todos os nossos movimentos estarem sob vigilância em massa. Mas o alerta da Antrópico sobre o seu próprio produto é maior do que esses problemas individuais. É um chamado de dentro de casa de que o desastre está escondido logo ali na esquina. Eu sei que parece extremamente terrível e exagerado. Mas o problema é o seguinte; Não é assim.
A Antropik, você deve se lembrar, foi a empresa fundada pelo secretário de “Guerra” dos EUA, Pete Hegseth. está lutando porque ele não queria que Claude fosse para a batalha sem supervisão e talvez fizesse algo assim. bombardeando acidentalmente meninas na escola.
Agora, essa empresa revelou isso aviso de resfriamento: O atual Claude que causou essa bagunça está desatualizado e surpreendentemente menos poderoso que o novo; Ele está se esforçando tanto para não se soltar – embora este seja o novo Claude, Chamado Claude Mythos PreviewEle já escapou sozinho pelo menos uma vez. Contarei mais sobre isso em um momento; Existe um limite de medo existencial que uma pessoa pode suportar.
“Todos deveríamos estar preocupados”, disse-me Roman Yampolskiy sobre este último avanço numa tecnologia que certamente mudará o curso da humanidade. Ele é o país principais pesquisadores de segurança de inteligência artificiale professor da Universidade de Louisville em Kentucky.
“Estamos prestes a criar uma superinteligência geral e isso ameaça a humanidade como um todo”, disse Yampolskiy.
“Todo o resto é irrelevante”, acrescentou ele, antes de sugerir que eu parasse de me chamar de idiota por não entender as partes tecnológicas desta discussão. Ele me garantiu que minha abordagem simples era “uma maneira razoável de explicar isso”.
Aqui você vai.
Este é o “gênios da computação realmente inteligentes poderiam abusar deste” cenário ou “todos ficarão desempregadoscenário, ou mesmo o cenário “pode bombardear crianças acidentalmente”, que é um cenário realmente terrível.
Este é o cenário “seu filho adolescente pode usar isso para invadir o sistema do distrito escolar local, mudar de sala de aula com muito pouco conhecimento e destruir acidentalmente a rede elétrica da Califórnia”.
Ou talvez um país que não gosta de nós – alguns vêm à mente – poderia drenar a conta bancária de todos os cidadãos dos EUA, ao mesmo tempo que desbloqueia as fechaduras automáticas das celas da prisão, desliga as nossas estações de tratamento de esgotos e assume o controlo dos sistemas de controlo aéreo. Ou talvez Claude Mythos esteja fazendo isso sozinho.
Por exemplo, Antropik disse Claude Mythos disse ter encontrado uma falha que passou despercebida durante 17 anos em um sistema operacional popular que ele testou, usado por milhares de empresas, incluindo Netflix e Sony. Ele então descobriu como explorar a falha sozinho – sem orientação ou assistência humana – para assumir o controle de qualquer servidor que executasse o sistema operacional, usando qualquer computador em qualquer lugar do mundo.
Estou divagando aqui, mas se quase nenhum sistema de segurança for seguro, as possibilidades de caos social, financeiro e geral são verdadeiramente infinitas. E, honestamente, qualquer especialista em segurança dir-lhe-á que alguns dos maiores pontos fracos da América quando se trata de segurança cibernética são os governos locais e estaduais, porque, curiosamente, os principais especialistas não trabalham em empregos de cinco dígitos nas cidades das Grandes Planícies.
Com base em seus próprios testes, Previsões antrópicas Ele pode encontrar “mais de mil vulnerabilidades de gravidade crítica e milhares de outras vulnerabilidades de alta gravidade”.
Isto significa que Claude Mythos está a colocar a nossa infra-estrutura em risco em todo o lado – porque tanta coisa está ligada através de backdoor que a maioria de nós nunca considera que basta um sistema fraco para abrir a porta a centenas de outros. Mas é quase impossível proteger e remediar todos estes sistemas de forma rápida e robusta o suficiente contra este tipo de IA.
Yampolskiy disse que era apenas um risco de segurança cibernética. Uma IA com as habilidades de Claude Mythos poderia ser usada para avançar em muitas outras áreas.
“Estamos vendo a mesma coisa acontecer com a biologia sintética. Veremos a mesma coisa com as armas químicas, provavelmente algo novo em termos de armas de destruição em massa”, disse ele.
Para crédito da Anthropic, ela demonstrou cautela em relação à sua criação e criou uma espécie de plano de jogo, se não uma solução. Projeto Asa de VidroDesconfio do nome porque por pior que seja a situação, faremos com que pareça um thriller com um final emocionante.
Projeto Asa de Vidro Seria melhor se o projeto se chamasse Headstart, porque é isso mesmo. Antes de lançar o Mythos, a Anthropic o está lançando para cerca de 40 empresas de tecnologia, incluindo Apple, Google e Nvidia, para ver se conseguem corrigir coletivamente todas as vulnerabilidades que encontram antes de dar ao público em geral a chance de alcançá-las. É como se o assassino do filme desse à vítima 15 segundos para escapar.
Então, vou reservar 15 segundos e esperar que essas coisas se tornem realidade. Mas, como disse a Anthropic num comunicado, “o trabalho de defesa da infra-estrutura cibernética mundial pode levar anos; as capacidades de IA de ponta provavelmente avançarão significativamente nos próximos meses. Precisamos agir agora para ajudar os defensores cibernéticos a avançarem”.
Então, realmente temos 15 segundos? Um dos olheiros de Claude Mythos postou recentemente nas redes sociais que almoçou em um parque. Mythos enviou um e-mail para ele – mesmo que ele não devesse ter acesso à internet. Os pesquisadores encarregaram a Mythos de tentar sair da “caixa de areia” desconectada, e conseguiu.
Esse Outro problema com Mythos e outras IA – eles raramente fazem o que esperamos e encontrar maneiras sorrateiras de contornar as regras. Foi demonstrado que quase todos os supercérebros de IA já criados mentem, trapaceiam e geralmente se comportam de maneira perturbadora e antiética, dadas as condições certas.
Até mesmo Claude, considerado um dos supercérebros de IA mais éticos que existem, se comporta mal. Vantagem antrópica É o “modelo mais bem alinhado” já feito – é um modelo que fala com a tecnologia para seguir os valores e intenções humanas, mas também reconhece que “provavelmente representa o maior risco para o alinhamento”, que é algo que a tecnologia fala, talvez não seja.
Então, pelo menos por enquanto, ser o supercérebro de IA mais ético é um pouco como ser o serial killer mais ético. Corram gente, corram.
Obrigado mais uma vez Antropik (e seu CEO Dario AmodeiEstou disposto a apostar que, porque ele não nos mergulha no caos global sem aviso prévio, ele frequentemente alerta sobre os perigos do que está a criar, porque alguma outra empresa pode ter despejado a sua super IA na sociedade e deixado a destruição cair onde deveria. Não há dúvida de que haverá outras mentes de IA tão talentosas quanto Mythos, e logo a Anthropic conquistou o primeiro lugar com esse nível de talento, mas apenas 15 segundos à frente de seus rivais.
Mas a ideia de que a indústria tecnológica irá ou deverá resolver estes problemas por si só é uma abdicação maciça do dever e do bom senso por parte dos governos, grandes e pequenos, para proteger os seus povos. Esta não é uma competição pelo domínio, como o Presidente Trump descreveu. Esta é uma corrida para nos protegermos de nós próprios e da maioria dos titãs super-ricos da indústria que colocam constantemente os negócios e o comércio à frente do bem social.
Estamos nos últimos 15 segundos antes que a IA mude tudo. Ou exigimos controlo e regulamentação agora, ou deixamos que as empresas tecnológicas determinem o destino do mundo.
