Na Augmented World Expo na terça-feira, o Snap apresentou uma versão inicial de seu protótipo de divulgação de imagens em tempo real no dispositivo que pode gerar experiências vívidas de AR. A empresa também revelou ferramentas generativas de IA para criadores de AR.
O cofundador e CTO da Snap, Bobby Murphy, disse no palco que o protótipo é pequeno o suficiente para rodar em um smartphone e rápido o suficiente para renderizar novamente os quadros em tempo real, guiado por um prompt de texto.
Murphy disse que embora o surgimento de modelos generativos de divulgação de imagens de IA tenha sido emocionante, esses modelos precisam ser significativamente mais rápidos para que tenham impacto na veras aumentada, e é por isso que suas equipes têm trabalhado para correr os modelos de estágio de máquina.
Os usuários do Snapchat começarão a ver Lentes com esse protótipo generativo nos próximos meses, e o Snap planeja trazê-lo aos criadores até o final do ano.
“Leste e os futuros modelos de ML generativos em tempo real em dispositivos apontam para uma novidade direção empolgante para a veras aumentada e estão nos dando espaço para reconsiderar uma vez que imaginamos a renderização e a geração de experiências de AR uma vez que um todo”, disse Murphy.
Murphy também anunciou que o Lens Studio 5.0 será lançado hoje para desenvolvedores com entrada a novas ferramentas generativas de IA que os ajudarão a fabricar efeitos de AR muito mais rápido do que é verosímil atualmente, economizando semanas e até meses.
Os criadores de AR podem fabricar lentes selfie gerando efeitos faciais de ML altamente realistas. Aliás, eles podem gerar efeitos de estilização personalizados que aplicam uma transformação realista no rosto, corpo e periferia do usuário em tempo real. Os criadores também podem gerar um recurso 3D em minutos e incluí-lo em suas lentes.
Aliás, os criadores de AR podem gerar personagens uma vez que alienígenas ou bruxos com um prompt de texto ou imagem usando a tecnologia Face Mesh da empresa. Eles também podem gerar máscaras faciais, texturas e materiais em minutos.
A versão mais recente do Lens Studio também inclui um assistente de IA que pode responder a perguntas que os criadores de AR possam ter.