As ferramentas de IA mais avançadas de hoje – aquelas que podem resumir documentos, gerar obras de arte, escrever poesia ou prever como proteínas altamente complexas se dobram – são todas confiáveis para os humanos. “transformador”. Esta arquitetura de rede neural, anunciada pela primeira vez em 2017 num modesto centro de conferências na Califórnia, permite que as máquinas processem informações de uma forma que reflete a forma como os humanos pensam.
Anteriormente, os modelos mais avançados de IA dependiam de uma técnica chamada redes neurais recorrentes. Funciona lendo o texto em uma janela estreita, da esquerda para a direita, lembrando apenas o que veio antes. Essa configuração funciona muito bem para frases curtas. Mas em sentenças mais longas e complexas, os modelos tiveram que encaixar muito contexto em sua memória limitada, fazendo com que detalhes importantes fossem perdidos. Essa falta de clareza os deixa confusos.
Transformers abandona essa abordagem e adota algo mais radical: o autocuidado.
É muito intuitivo. Nós, humanos, certamente não lemos e interpretamos texto escaneando-o palavra por palavra sequencialmente. Nós folheamos, voltamos, fazemos suposições e correções considerando o contexto. Este tipo de destreza mental tem sido o Santo Graal do processamento da linguagem natural: as máquinas ensinam não apenas como processar a linguagem, mas também como compreendê-la.
Transformers emula esse salto mental. Seus mecanismos de autoatenção permitem-lhes comparar cada palavra de uma frase com outras palavras, ao mesmo tempo que encontram padrões e constroem significado a partir das relações entre as palavras. “Você pode aproveitar todos esses dados da Internet ou da Wikipedia e usá-los para suas tarefas”, disse o pesquisador de IA Sasha Luccioni no rosto abraçado. “E é muito poderoso.”
Esta flexibilidade não se limita apenas ao texto. O Transformer agora oferece suporte a ferramentas que geram música, criam imagens e até modelam moléculas. AlphaFold, por exemplo, trata proteínas – longas cadeias de aminoácidos – como sentenças. A função de uma proteína depende de como ela se dobra e, por sua vez, de como suas partes se conectam em longas distâncias. O mecanismo de atenção permite que o modelo avalie essas relações distantes com altíssima precisão.
Em retrospectiva, a imagem parece quase clara: a inteligência, seja humana ou artificial, depende de saber em que focar e quando. Os transformadores não ajudam apenas as máquinas a compreender a linguagem. Isso lhes dá uma maneira de navegar por quaisquer dados estruturados – assim como os humanos navegam em seu mundo complexo.
Tópico:
- inteligência artificial/
- rede neural
