Gemini for Home do Google: a IA que cuida de tudo

Neste fim de semana, transformei minha casa em um laboratório de testes para o novo Gemini for Home AI do Google e observei minha família por 72 horas enquanto ela observava, interpretava e narrava cada movimento nosso. Meu objetivo? Para descobrir se uma IA que tudo vê é realmente útil ou simplesmente assustadora.

“R desembala itens das caixas”, diz uma notificação de uma câmera Nest na prateleira da cozinha. “Jenni corta a torta / B vai para a cozinha, lava a louça na pia / Jenni pega um drink na geladeira”, continua. Às vezes, o aviso soa como o início de uma piada: “Um cachorro, uma pessoa e dois gatos entraram na sala / Duas galinhas atravessaram o terraço”.

Mas isso não é brincadeira. É principalmente uma descrição precisa de eventos dentro e ao redor da minha casa, onde instalei várias câmeras Google Nest com tecnologia Gemini for Home. É uma nova camada de IA no app Google Home que interpreta a filmagem da câmera e – combinada com Recurso de reconhecimento facial do Nest — transmite uma descrição escrita do evento, incluindo quem ou o que estava presente, o que estavam fazendo e, às vezes, até o que vestiam.

Por exemplo, agora, em vez de um alerta que diz “animal detectado na página inicial”, recebo uma versão mais descritiva que me diz que são duas galinhas ou um cachorro. Um deles exigiu ação imediata de minha parte (meu marido não é fã de excrementos de galinha em nosso sofá ao ar livre). Os outros posso ignorar. Um alerta como o da Nest Doorbell à 1h, explicando que meu filho estava na porta tentando entrar, causa menos ansiedade do que um alerta que simplesmente diz “pessoa detectada”.

Usar IA para melhorar a enxurrada constante de notificações de câmeras de segurança é uma grande melhoria – uma melhoria que todos os fabricantes, de Ring a Arlo e Wyze, estão buscando. Mas até que ponto podemos confiar na IA para cuidar das nossas casas?

Embora Gemini não estivesse alucinando com estranhos ou vida selvagem em minha casa, como outros relataram, seus resumos diários – chamados Home Briefs – no aplicativo Google Home tendiam mais para a ficção do que para os fatos. É aqui que a IA Gemini da casa se torna problemática.

Não acompanho minha família em nossa casa. Deixo a segurança para as câmeras externas e defino as câmeras internas para serem desligadas quando estivermos em casa. Mas eu queria dar ao Gêmeos o máximo de informações possível, então arrumei minha casa com câmeras prontas para gravar.

Eu instalei um novo Campainha Nest 2K, Câmera interna Nest 2KE Câmera externa Nest 2K (todos com fio), junto com alguns modelos anteriores compatíveis com Gemini. Isso fornece vigilância das principais rotas de tráfego dentro e fora da minha casa, bem como da maior parte do meu quintal.

Gemini Description e Home Brief, que estão atualmente em acesso antecipado, custam US$ 20 por mês ou US$ 200 por ano Google Home Avançado Premium assinatura, que também inclui gravação de vídeo 24 horas por dia, 7 dias por semana. Gemini AI analisa apenas vídeo, não áudio, talvez porque use um modelo de linguagem de visão para processá-lo. Ele também oferece suporte a um recurso do aplicativo Google Home chamado Ask Home, que permite pesquisar gravações de vídeo, algo que o Ring também oferece.

Quando testei a versão de pesquisa de vídeo do Ring, achei útil ficar de olho nos meus gatos ao ar livre. A versão do Google é melhor porque entende o contexto da minha solicitação. Quando pedi a ambos que me mostrassem a última vez que galinhas estiveram na minha varanda, Gemini me mostrou o avistamento mais recente, enquanto Ring me mostrou a melhor combinação, que foi de três dias atrás.

Mas, além de encontrar animais travessos, também me esforcei para encontrar valor nos relatos detalhados das ações realizadas em minha casa. E sim, é assustador.

Os alertas em tempo real são geralmente precisos e claros. Só notei dois grandes erros: ele confundiu meu cachorro com uma raposa no quintal, e quando eu estava colocando um pacote na porta esperando para ser recolhido, quem se aproximasse da porta passou a ser o entregador do pacote.

No entanto, Gêmeos parece ter algumas interpretações seletivas. Tentei fazer com que ele dissesse que eu estava segurando uma faca – até mesmo brandindo-a ameaçadoramente para a câmera. Mas usa apenas palavras como cortar ou esculpir em sua descrição, sem fazer menção a lâminas. E é uma faca grande!

Quando meu marido saiu de casa carregando um rifle, o alerta dizia que ele carregava ferramentas de jardinagem. Não está claro se isso foi intencional (entrei em contato com o Google), mas não identificar a arma parece um descuido significativo para um sistema que se concentra na segurança. Quero saber se alguém tem uma arma na minha varanda ou uma faca na minha casa.

No entanto, o Home Brief diário tornou-se uma coisa estranha. Por volta das 8h30, todas as noites, o app Google Home exibe sua interpretação dos eventos do dia em uma nova guia de atividades. Você pode personalizá-lo para focar nas coisas que lhe interessam mais; para mim, foram animais e adolescentes voltando para casa depois do toque de recolher.

O resumo estava cerca de 80% correto, com um pouco de confusão – dizia que o forno de pizza foi entregue quando eu o retirei. Mas meu principal problema é a dura editorialização do resumo. Gêmeos pega descrições precisas e em tempo real dos eventos e as transforma em narrativas cheias de sentenças declarativas falsas.

Por exemplo, no Halloween, o resumo diz “Jenni e R são vistos interagindo com doces ou travessuras e aproveitando o clima de festa”. Quando distribuí os doces, minha filha R não estava em casa. Outro resumo detalha como meu marido e eu passamos uma noite divertida relaxando no sofá com outras pessoas. Estávamos sozinhos em casa.

Home Brief é um conceito interessante. Receber um resumo do final do dia em vez de se distrair constantemente com alertas ao longo do dia pode ajudar a reduzir o cansaço das notificações. Mas isso não significa que posso desligar as notificações em tempo real. Não quero esperar por uma noite alegre de Home Brief para descobrir que uma pessoa invadiu meu carro às 6 da manhã ou que uma raposa entrou no galinheiro.

O Google Home precisa de uma maneira de priorizar alertas urgentes em vez de alertas menos importantes. Ele também precisa ser integrado à minha casa inteligente para que eu possa usar determinados eventos – como galinhas no pátio – para acionar respostas automáticas.

Mas inventar coisas como a Home Brief fez é indesculpável para um sistema usado para segurança doméstica. O Google Home observa que o Gemini pode cometer um erro e oferece um pequeno clipe no Home Brief para que você possa verificar sua funcionalidade, por exemplo, para ver se meu marido e eu estamos sentados sozinhos na sala de estar. Embora Gêmeos possa descrever o que aconteceu, é a tentativa de interpretar o essencial que falha.

Embora eu tenha achado útil a descrição da IA ​​​​para a câmera externa, a “inteligência” do Gemini não me convenceu a começar a operar a câmera dentro de casa. Se eu considerasse deixar a IA contar a história da vida da minha família, ela teria que ser mais útil e precisa.