Esse Estrada baixa por Janko Roettgersboletim informativo sobre a intersecção em constante evolução entre tecnologia e entretenimento, distribuído apenas para Borda clientes uma vez por semana.
Quando Mark Drummond estava trabalhando no Vision Pro na Apple, ele teve uma epifania que não se encaixava na narrativa preferida de Cupertino.
Drummond gerencia a Equipe de Inteligência de Personagem, que constrói, entre outras coisas Conhecendo Dinossauros demonstração. Pré-instalada no Vision Pro, esta demonstração coloca os espectadores cara a cara com criaturas pré-históricas interativas.
“Nós construímos isso com Jon Favreau”, disse Drummond, referindo-se à Apple parceria de longo prazo com Mandalorianos diretor. “Antes de os fones de ouvido estarem disponíveis para levarmos para Burbank, usávamos iPhones e iPads”, lembra ele. Depender de dispositivos móveis para demonstrações faz sentido. VisionOS é basicamente um fork do iPadOS. “Realmente funcionou. Tivemos uma experiência muito boa com o iPhone e o iPad”, disse ele.
Através dessa experiência, Drummond percebeu que esses dispositivos móveis eram mais do que apenas um substituto viável para um fone de ouvido. “O que aprendemos ao procurar fontes de surpresa e deleite com personagens interativos em realidade mista é que os fones de ouvido não são, na verdade, o melhor (dispositivo) para esse tipo de coisa”, disse ele.
“Ainda acho que é uma ótima peça de hardware”, disse Drummond. No entanto, os fones de ouvido também podem isolar e separar os espectadores do mundo exterior e das pessoas ao seu redor. “Está um pouco quieto”, disse Drummond. Por outro lado, ter um aplicativo AR no seu telefone torna mais fácil mostrá-lo a outras pessoas. “As pessoas podem apoiar-se no seu ombro”, disse Drummond.
É por isso que, logo após deixar a Apple em 2023, Drummond recorreu aos dispositivos móveis para contar histórias em realidade aumentada. Nos últimos dois anos e meio, ele tem trabalhado em um novo aplicativo AR para iPhone chamado Duende isso é tudo uma narrativa interativa que prioriza os dispositivos móveis.
Resumindo, Pixi está trabalhando em algo que pode ser melhor descrito como uma versão AR de cartões comemorativos por e-mail. Quando for lançado nas próximas semanas, o Pixi permitirá que qualquer pessoa escolha personagens e cenários interativos, adicione mensagens personalizadas e depois envie-as para seus contatos via iMessage ou WhatsApp. Assim que o destinatário abrir a mensagem Pixi, o personagem aparecerá na visão da câmera de seu ambiente do mundo real e interagirá com ele.
Durante uma demonstração recente, a experiência AR do Pixi incluiu animações de gatos e robôs. Eles podem contar piadas, jogar jogo da velha com você ou desafiá-lo para um jogo de pancada na toupeira, direto na sua mesa.
À primeira vista, nada disso parece particularmente inovador se você já brincou com os filtros AR do Snapchat ou outros aplicativos móveis de AR. “Se você não está um pouco envergonhado com o primeiro produto, você o está lançando tarde demais (tarde demais)”, disse Drummond, sugerindo que a empresa incluirá personagens adicionais e histórias mais avançadas no futuro.
No entanto, o Pixi incorpora alguns elementos interativos interessantes: o gato comediante, por exemplo, conta uma piada de pai após a outra até que o aplicativo detecte que o espectador está sorrindo através da câmera frontal do telefone. Em seguida, o personagem agradece a atenção do público como um comediante encerra seu show e entrega uma mensagem de saudação personalizada.
“Para fazer um personagem se sentir presente, ele precisa prestar atenção”, disse Drummond. Isso inclui não apenas prestar atenção ao espectador, mas também ao ambiente em que ele se encontra. “Esse tipo de atenção só é possível por meio da IA no dispositivo”, disse ele. Pixi usa IA e aprendizado de máquina para reconhecer expressões faciais, e o aplicativo também baixa rapidamente modelos de ML personalizados para reconhecer objetos e depois combiná-los em uma história.
Quando a AR móvel se tornou popular com filtros do Snapchat e aplicativos baseados em ARKit, os desenvolvedores tinham pouco a fazer quando se tratava de interagir com os ambientes do mundo real dos espectadores. Basicamente, o aplicativo detectará superfícies e colocará objetos virtuais nelas. Com o tempo, os aplicativos de AR tornaram-se mais inteligentes no tratamento da oclusão, permitindo que os personagens se escondam atrás de objetos do mundo real. Finalmente, alguns até oferecem detecção rudimentar de objetos.
Com os recentes avanços na IA, há potencial para melhorar o reconhecimento de objetos, ao ponto em que as aplicações serão capazes de reconhecer classes de objetos, compreender como funcionam e incorporá-los em experiências interativas. Veja como Drummond imagina que os cartões AR Pixi funcionarão no futuro:
“Digamos que eu tenho um amigo (que é) advogado. Ele foi promovido e quero parabenizá-lo. Mandei para ele um (Pixi com) um Golden Retriever, que apareceu no chão do escritório. Ele olhou para ele, depois começou a cheirar. Ele foi até o arquivo e estava muito concentrado na gaveta do arquivo. Ele pensou: Cachorro, é apenas um relatório fiscal antigo. O cachorro não se mexia. Parece, cheire, parece encantador. Ele abriu a gaveta. Dentro, escondemos um grande biscoito virtual para cachorro (com a mensagem): ‘Parabéns, até sexta.’”
Tudo isso também é tecnicamente possível com o aplicativo Vision Pro? Possível. Mas há muitos outros motivos que impedem este fone de ouvido – incluindo o preço de US$ 3.500. “É caro”, admitiu Drummond, acrescentando: “Ainda acho que é uma coisa cara, considerando a quantidade de tecnologia incrível que você tem, apenas a aparência”.
No entanto, o alto preço do aparelho também atrapalhou a adoção, e a IDC estima que a empresa entregou apenas 45.000 unidades durante o trimestre de férias do ano passado. “A penetração no mercado não é enorme”, disse Drummond.
Mesmo as pessoas que os possuem podem relutar em colocá-los sempre que alguém lhes envia um clipe ou experiência de dois minutos. “Você nem sempre tem isso e (você tem) a configuração, os custos de demolição”, disse Drummond. “Sempre temos nossos telefones conosco.”
Não é nenhum segredo que o Vision Pro é apenas o primeiro passo para a Apple, que supostamente está trabalhando em seus próprios óculos inteligentes e AR. No entanto, Drummond acredita que esses óculos não poderão substituir os smartphones nos próximos anos devido a restrições físicas. Os telefones agora são capazes de executar modelos complexos de aprendizado de máquina localmente, enquanto os óculos terão poder e capacidade de computação muito mais limitados. Devido a essas restrições, eles provavelmente funcionarão como outra tela para notificações e instruções, semelhante ao Apple Watch. “Acho que os relógios e óculos da Apple desempenharão a mesma função”, disse ele.
Isto significa que os desenvolvedores de AR que procuram criar experiências de entretenimento interativas poderão descobrir que os dispositivos móveis continuam a ser a melhor plataforma para o futuro próximo – uma plataforma que se torna mais capaz a cada dia, graças à IA.
