A atualização personalizada da Samsung é um grande passo em direção à IA útil para sua geladeira

A ideia de instalar uma atualização de software em sua geladeira já parece estranha, muito menos uma ideia focada em melhorar as capacidades de IA. Mas é exatamente isso que está acontecendo Linha de refrigeradores sob medida da Samsung Electronics Surpreendentemente, esta semana, o patch está fazendo grandes avanços para tornar o aprendizado de máquina verdadeiramente útil nas geladeiras modernas.

Para recapitular, a Samsung já oferece há alguns anos recursos baseados em IA, como reconhecimento automático de alimentos e planejamento de refeições em seus refrigeradores personalizados. Mas, como descobrimos depois de analisar o seu modelo principal no final do ano passado, as capacidades de IA da empresa ainda são um trabalho em progresso. Anteriormente, a geladeira conseguia reconhecer cerca de 60 tipos de alimentos frescos (frutas, vegetais, etc.), juntamente com cerca de 50 produtos embalados diferentes, como iogurte ou pipoca. Parecia um começo decente, mas considerando a quantidade de itens diferentes que você pode encontrar em um supermercado típico, estava longe de ser perfeito. Além disso, muitas vezes tínhamos que inserir dados adicionais, como o número de itens ou quando os itens foram adicionados pela primeira vez, o que tornava a ideia de rastreamento de supermercado assistido por IA mais tediosa do que desejávamos. Não sei sobre você, mas geralmente não quero digitar na minha geladeira e tenho certeza de que os engenheiros da Samsung concordariam. Talvez isso traga uma grande atualização para o software do refrigerador Bespoke.

A maior mudança é que a Samsung está adicionando suporte ao Google Gemini, o que tem várias implicações importantes. A combinação dos recursos existentes de reconhecimento de objetos no dispositivo da Samsung com o modelo baseado em nuvem do Google aumenta o número total de alimentos identificáveis ​​de pouco mais de 100 para mais de 2.000. Agora, isso significa que você terá que conectar a geladeira ao Wi-Fi, mas isso não é grande coisa, considerando a quantidade de outros recursos inteligentes que ela suporta, como integração de calendário e reprodução de vídeo.

Outra atualização é que a Samsung está expandindo o controle de voz com o Gemini, permitindo aos usuários solicitar à geladeira para alterar as configurações do dispositivo e muito mais, verificar detalhes como quando o filtro de água foi trocado pela última vez ou ajudar a solucionar problemas. E dependendo da situação, sua geladeira pode até passar um tutorial de como resolver o problema.

Ou, para problemas mais complexos ou difíceis de resolver, a Samsung introduziu o Reliability AI, que foi projetado para monitorar componentes do seu refrigerador ou identificar defeitos antes que se tornem muito graves. Ou, se um dispositivo exigir manutenção, a IA pode fornecer aos agentes informações mais detalhadas, permitindo-lhes resolver problemas específicos remotamente.

Por exemplo, um representante da Samsung disse que se um cliente ligar dizendo que sua máquina de fazer gelo tem cubos saindo da máquina de fazer gelo e grudados, a Reliability AI pode ser usada para ajudar os agentes a reduzir a quantidade de água adicionada à bandeja de gelo sem ter que ir fisicamente até a casa. Criticamente, a Samsung afirma que, embora o refrigerador monitore e rastreie os indicadores de saúde do dispositivo, os proprietários devem fornecer consentimento explícito para que o pessoal de reparos acesse esses dados. Enquanto isso, se o problema exigir atendimento direto, a Samsung afirma que, ao compartilhar esses dados com os técnicos de reparo, eles podem identificar e resolver o problema mais rapidamente, em vez de ter pessoas chegando sem contexto e diagnosticando o problema do zero.

Minha unidade de teste não apresentou nenhum problema mecânico nos oito meses em que a usei, então não pude avaliar a IA de reparabilidade da Samsung. Dito isto, depois de vê-lo pela primeira vez na sede da Samsung, tive a oportunidade de usar uma versão inicial do novo software da linha Bespoke nas últimas duas semanas, incluindo suporte atualizado para reconhecimento de objetos baseado em nuvem, e as melhorias foram profundas. É incrível quantos alimentos diferentes ele reconhece mesmo depois de usá-lo por um tempo. Há uma lata no fundo da geladeira. Molho de chalota de cabeça de boiEste é um ingrediente de nicho em Taiwan, utilizado quase exclusivamente na culinária asiática. Mas a IA não teve problemas para reconhecê-lo, marcando-o automaticamente e incluindo quando foi adicionado pela primeira vez ao AI Food Manager da geladeira.

Além disso, o sistema agora é muito melhor no reconhecimento de marcas e na contagem de ingredientes específicos para criar listas mais detalhadas. Você pode dizer a diferença entre Diet Coke e Coke Zero e ao mesmo tempo ver exatamente quais múltiplos de cada item existem. E embora muitas vezes você precise executar ping em um servidor baseado em nuvem em algum lugar para ajudar a geladeira a reconhecer vários itens, os resultados geralmente aparecem em segundos. E fiquei feliz porque, para certos alimentos, como abacates, a geladeira monitora há quanto tempo eles estão armazenados e exibe uma notificação de que a data de validade pode estar se aproximando. Claro, isso nem sempre está certo, mas tudo que eu realmente preciso é de um lembrete para verificar as coisas e é exatamente isso que acontece.

Sam Rutherford do Engadget

Descobrimos também que os refrigeradores agora lembram quando você retira certos alimentos com frequência e perguntam se deseja adicioná-los à sua lista de compras. É uma ótima maneira de reabastecer os grampos que você usa regularmente e lembrá-lo de não ficar irritado porque isso acontece com baixo atrito. Isso permite que você simplesmente verifique seu telefone quando estiver na loja, sem precisar examinar manualmente sua lista toda semana. As geladeiras também são muito melhores em reconhecer e rastrear o que está dentro, para que possam lhe dar sugestões melhores de receitas que você pode preparar com ingredientes que já possui.

Dito isto, como muitos modelos atuais, a IA nem sempre descobre todos os detalhes. Por exemplo, inicialmente ficamos impressionados quando um pote de cream cheese falso foi automaticamente rotulado como “Philadelphia Plant-Based”, mas depois percebemos que o rótulo estava incompleto e que a IA estava apenas lendo o que estava escrito na tampa e não tinha a capacidade de finalizar a descrição com precisão. Não entenda mal. Quando você consultar um gerente de alimentos, ele lhe dará informações suficientes para ajudá-lo a descobrir o que há em sua geladeira. Isso não é muito preciso.

Um problema com esta atualização é que, como muitos dos serviços de IA atuais, o novo software da Samsung pode tender a ser um pouco confiante ou alucinatório. Uma vez, enquanto minha esposa colocava algo de volta na geladeira, o algoritmo tirou uma foto de um curativo colorido em seu dedo e marcou-o como um vegetal, o que não foi o caso. Em outros casos, parece que você está apenas adivinhando. No entanto, penso que aumentar o número de itens identificáveis ​​de cerca de 100 para mais de 2.000 é uma melhoria muito bem-vinda, apesar das suas limitações.

Outra coisa estranha é que apesar da Samsung utilizar o modelo de IA do Google para muitos dos novos recursos da geladeira, não há uma descrição clara do Gemini dentro do aparelho. Isso é um tanto desconcertante, já que Bixby ainda é o único assistente digital que os usuários podem usar e conversar diretamente.

Eu disse anteriormente que o reconhecimento de alimentos por IA da Samsung é um trabalho em andamento e acho que isso ainda é verdade. Com esta última atualização, a empresa está muito mais perto de cumprir a promessa de um refrigerador com recursos verdadeiramente úteis baseados em IA. O que antes parecia uma demonstração de tecnologia promissora tornou-se uma ferramenta útil para rastrear suas compras, mesmo que haja alguns contratempos aqui e ali.