O que ler esta semana: O aterrorizante Project Maven de Katrina Manson

Projeto Maven
Katrina Manson, WW Norton

Os militares israelitas utilizam inteligência artificial para identificar alvos em Gaza, os Estados Unidos fazem o mesmo no Irão e a Ucrânia continua a utilizar drones inteligentes. A guerra da IA ​​não é um conflito do futuro, mas do presente.

Desvendar as políticas globais relativas à utilização militar da IA ​​– os seus potenciais benefícios, obstáculos e ética obscura – será um desafio nas próximas décadas. Mas não era isso que Katrina Manson queria fazer Projeto Maven. Em vez disso, ele utiliza entrevistas com mais de 200 pessoas para contar a história da jornada dos militares dos EUA na guerra de IA – ou uma delas, já que existem 800 projectos de IA escondidos no Pentágono.

Em 2017, o Projeto Maven foi lançado para criar ferramentas para explorar imagens de drones e extrair informações úteis – os drones coletaram mais dados do que qualquer ser humano pode interpretar. Maven teve um começo difícil, disse Manson. Os militares implantaram-no ao lado de soldados na Somália oito meses após o lançamento do projeto, e os algoritmos disseram aos analistas que havia autocarros escolares nas nuvens e as árvores eram pessoas.

Acompanhamos um dos líderes do projeto enquanto ele se torna oficial de inteligência no Afeganistão, tentando planejar missões e dirigir tropas com nada além de um laptop empoeirado carregado com o Microsoft Office: onde está o inimigo, onde está seguro, como é o sucesso?

Os humanos na guerra são ineficientes, cansam-se rapidamente e cometem erros. A névoa da guerra poderia ser dissipada com IA, de acordo com os criadores geralmente secretos do Projeto Maven que conversaram com Manson. Mas foram mais longe: selecionar alvos, caçá-los e depois matá-los. Sem uma tomada de decisão lenta e deliberada por parte dos humanos, os robôs assassinos podem derrotar os inimigos rapidamente.

“Sempre matamos as pessoas erradas. As máquinas não podem ser piores que os humanos”, disse uma fonte. A equipe desenvolveu o Maven em uma série de ferramentas e tentou convencer as pessoas na linha de frente a adotá-lo. Os resultados melhoraram, mas ainda ocorreram erros.

Desde então, os EUA e outros membros da NATO lançaram Maven no conflito. Cerca de 32 empresas estão trabalhando nisso, escreveu Manson, e 25 mil usuários militares dos EUA fazem login regularmente. Mas ele também disse que a droga era usada para cruzar fronteiras e caçar traficantes no Caribe. Pode um país que dispõe de tal ferramenta recusar utilizá-la contra os seus cidadãos?

O mais preocupante é que esforços estão sendo feitos para eliminar totalmente o envolvimento humano, disse Manson. Drones conhecidos como drones voadores Goalkeeper e drones navais Whiplash podem encontrar alvos por conta própria e eliminá-los. E os humanos nunca inventaram armas e não as usaram.

É difícil não pensar em Stanislav Petrov, o tenente-coronel soviético que, em 1983, usou o seu próprio julgamento e decidiu que os relatos de lançamentos de mísseis dos EUA eram um alarme falso e evitaram uma guerra nuclear total. A IA tomará essa decisão?

Apesar de todos os insights interessantes sobre Maven, o livro nos diz mais sobre a burocracia do Pentágono e a disposição do Vale do Silício de assumir qualquer projeto – não importa quão desagradável seja – se o financiamento for adequado, do que sobre IA. O acesso que Manson teve foi fenomenal, mas a natureza do segredo militar significa que provavelmente não saberemos exactamente que tecnologia o governo dos EUA produziu, e como e quando foi usada, durante muitos anos.

A guerra sempre foi uma coisa profundamente desagradável, mas o conflito moderno em que os humanos observam alguém a milhares de quilómetros de distância através de drones e decidem se precisam de um golpe fatal tornou-o algo menos pessoal. Deixar isto para a IA corre o risco de tornar a guerra demasiado fácil de travar e os seus impactos demasiado fáceis de ignorar.

Precisamos garantir que o poder transmitido pelas armas de IA seja tratado com a gravidade que merece, mas Manson conta uma história arrepiante que sugere que o oposto é verdadeiro. Um entrevistado que esperava juntar-se ao Project Maven teria dito ao painel que a sua motivação era “reduzir a população não americana” – e depois conseguiu o emprego.

Duas outras boas leituras sobre IA e guerra

Fazendo a bomba atômica por Richard Rodes

Há muitas lições aqui sobre o rumo que a IA militar está tomando. Tal como o Projecto Manhattan, ameaça aumentar permanentemente as tensões globais e aumentar o risco de guerra, só para começar.

Devemos proibir robôs assassinos? por Deane Baker

Esta é uma visão aprofundada de um professor de ética, que analisa as questões espinhosas de confiabilidade, controle e responsabilização quando o governo entrega o trabalho dos soldados aos computadores.