Joe Maring / Autoridade Android
DR
- O YouTube planeja lançar sincronização labial gerada por IA para vídeos dublados automaticamente.
- Em breve poderá começar a testar o recurso em inglês, francês, alemão, português e espanhol.
- O recurso pode incorrer em taxas adicionais, que provavelmente serão suportadas pelos usuários.
Quer você goste ou não, o Google não está desistindo de suas tentativas de aumentar o engajamento traduzindo automaticamente o áudio para seu idioma nativo. Agora, seguindo tentativas contínuas e inabaláveis de simplesmente traduzir áudio com dublagem automática, o YouTube pode ir um degrau mais alto com dublagens de áudio de aparência realista com sincronização labial precisa, na tentativa de tornar os vídeos mais atraentes com IA.
O líder de produto de dublagem automática do YouTube, Buddhika Kottahachchi, detalhou recentemente a tecnologia por trás das dublagens automáticas sincronizadas com os lábios em uma conversa com Tendências Digitais. Kottahachchi informou à publicação que o sistema faz alterações intrincadas no nível de pixel para modificar a boca do locutor, garantindo que a dublagem pareça realista. Ele é alimentado por uma IA personalizada construída para compreender as nuances da estrutura facial, incluindo percepção 3D dos lábios, dentes e até mesmo diferentes expressões faciais. Olhando para o sucesso do Google com seu modelo de texto para vídeo Veo3, acreditamos que ele deveria ser capaz de realizar a façanha com níveis convincentes de realismo.
No momento, o recurso de sincronização labial suporta apenas resolução de 1080p e não pode processar vídeos em 4K. O suporte a idiomas também será limitado a inglês, francês, alemão, português e espanhol, mas a empresa planeja expandi-lo para mais de 20 idiomas – todos atualmente suportados pelo recurso de dublagem automática do YouTube.
Não quero perder o melhor de Autoridade Android?
O YouTube não faz nenhuma promessa concreta sobre a disponibilidade do recurso, mas pode começar como um piloto com um pequeno conjunto de criadores, como fez originalmente com a funcionalidade de dublagem automática. Considerando que foi lançado para um conjunto mais amplo de usuários apenas no mês passado, a sincronização labial pode levar um tempo para ficar disponível em mais canais. E embora se espere apenas ampliar o alcance, podemos esperar que os criadores tenham a opção de desativar o recurso para seus canais ou vídeos específicos.
O recurso também pode ter um custo adicional, embora o valor exato não tenha sido finalizado. Também vale a pena ver se é o consumidor ou o canal que arca com o preço do recurso, embora seja provável que seja o primeiro.
Naturalmente, surgirão preocupações sobre o uso indevido de sincronizações labiais automáticas, especialmente quando outros canais repassam vídeos sem a devida autorização. Na tentativa de combater isso, o YouTube pretende adicionar uma divulgação descritiva, juntamente com uma impressão digital invisível, semelhante ao SynthID.
Notavelmente, o YouTube não é a única plataforma de vídeo com tais planos em andamento. No ano passado, Meta lançou um programa piloto com criadores do Instagram para dublar e sincronizar seus Reels em outros idiomas. Ainda temos que saber mais sobre o seu sucesso, exceto que foi recentemente expandido para quatro idiomas, incluindo inglês, hindi, português e espanhol.
Obrigado por fazer parte da nossa comunidade. Leia nossa Política de Comentários antes de postar.
