Google Lens agora permite pesquisar com vídeo #ÚltimasNotícias #tecnologia

Se você não consegue capturar o que deseja pesquisar apenas com uma foto, o Google Lens agora permitirá que você grave um vídeo – e até use sua voz para perguntar sobre o que está vendo. O recurso exibirá uma visão geral da IA ​​e resultados de pesquisa com base no conteúdo do vídeo e na sua pergunta. Ele está sendo lançado hoje no Search Labs no Android e iOS.

O Google visualizou pela primeira vez o uso de vídeo para pesquisar no I/O em maio. Por exemplo, o Google diz que alguém curioso sobre os peixes que está vendo em um aquário pode apontar o telefone para a exposição, abrir o aplicativo Google Lens e manter pressionado o botão do obturador. Assim que o Lens começar a gravar, eles poderão fazer a pergunta: “Por que eles estão nadando juntos?” O Google Lens então usa o modelo Gemini AI para fornecer uma resposta, semelhante ao que você vê no GIF abaixo.

Ao falar sobre a tecnologia por trás do recurso, Rajan Patel, vice-presidente de engenharia do Google, disse A beira que o Google está capturando o vídeo “como uma série de quadros de imagem e depois aplicando as mesmas técnicas de visão computacional” usadas anteriormente no Lens. Mas o Google está dando um passo adiante ao passar as informações para um modelo Gemini “personalizado” desenvolvido para “entender vários quadros em sequência… e então fornecer uma resposta que esteja enraizada na web”.

Ainda não há suporte para identificar os sons em um vídeo – como se você estivesse tentando identificar um pássaro que está ouvindo – mas Patel diz que isso é algo que o Google tem “experimentado”.

O Google Lens também está atualizando seu recurso de pesquisa de fotos com a capacidade de fazer perguntas usando sua voz. Para experimentar, aponte sua câmera para o assunto, mantenha pressionado o botão do obturador e faça sua pergunta. Antes dessa mudança, você só podia digitar sua pergunta no Lens depois de tirar uma foto. As perguntas por voz estão sendo implementadas globalmente no Android e iOS, mas por enquanto só estão disponíveis em inglês.