NOTAS DO ESTÚDIO

Como substituir uma fala de diálogo com sincronia labial por IA

Corrija uma fala em um vídeo já pronto com o Lipsync Studio. Aprenda a gravar um diálogo substituto, escolher um modo de sincronia labial e integrar a regravação na edição.

Você está prestes a exportar um tutorial quando ouve o apresentador dizer “Abra a aba Projetos”. A gravação de tela mostra o menu certo, mas agora ele se chama “Meus Projetos”. É um conserto de dois segundos se houver apenas a narração em off. Na câmera, porém, você ainda vê o apresentador dizendo a frase antiga.

O Lipsync Studio pega um clipe existente e uma gravação substituta e ajusta a boca de quem fala para acompanhar o novo áudio. Comece com uma única frase para comparar o resultado com a tomada que você já tem.

O Lipsync Studio e este blog pertencem ao mesmo proprietário.

Se você tiver uma foto de rosto e a gravação corrigida, mas nenhum vídeo aproveitável do apresentador, pode fazer a foto falar. Use um retrato nítido que você tenha permissão para utilizar e comece com uma frase. Em um tutorial, o clipe falado pode apresentar a etapa antes de você cortar para a gravação de tela mostrando onde clicar.

Ouça o original e a substituição

Este teste de sete segundos usa um dragão animado e diálogo sintetizado. O player começa com o clipe de origem e seu som original e, em seguida, reproduz o resultado do modelo de sincronia labial vídeo a vídeo usado pelo Lipsync Studio. O original pergunta: “Can one picture hold a conversation? Let us try it with two voices.” (“Uma imagem consegue manter uma conversa? Vamos tentar com duas vozes.”) A substituição começa com: “Yes. Keep both voices on the same timeline, and leave the silence in place.” (“Sim. Mantenha as duas vozes na mesma timeline e deixe o silêncio no lugar.”)

Observe a boca quando cada fala começa e repare no que acontece durante as pausas. As duas versões usam faixas de voz diferentes, então dá para ouvir a mudança que o modelo precisou acompanhar.

Grave o pickup antes de mexer na imagem

Se outra pessoa estiver em cena, peça o consentimento dela antes de alterar o que ela parece dizer. Ouça as falas imediatamente antes e depois do erro e grave um pickup no mesmo ritmo e à mesma distância do microfone. Tente “Abra Meus Projetos” antes de reescrever a frase inteira. Se a fala nova tiver mais ou menos a mesma duração, você geralmente consegue manter os cortes ao redor dela.

Recorte um clipe de teste em torno da fala e grave a substituição em uma faixa de voz separada. Deixe uma pequena folga antes da primeira palavra e depois da última para a edição. Mantenha o áudio original em uma faixa silenciada no editor para comparar o tempo e recuperar a ambiência (room tone) nas emendas.

Escolha um modo de sincronia labial para o plano

Para uma única pessoa falando de frente para a câmera, experimente Lip Sync Video (Only Lip Region). Esse modo precisa de movimento labial visível no clipe original.

Agora imagine um review de hardware com dois apresentadores no mesmo quadro. O apresentador da esquerda diz que o gravador está configurado em 16-bit quando, na verdade, está em 24-bit. Em Lip Sync Video (Speaker Control), envie o vídeo primeiro e, depois, use a máscara Control Who Speaks para marcar o apresentador da esquerda. Adicione o pickup e confira se a boca do outro apresentador continua parada onde deve ficar.

Em qualquer um dos modos, comece renderizando apenas a fala e um pouco de vídeo antes e depois dela.

Se quem estiver falando virar o rosto durante a palavra corrigida ou cobrir a boca, considere cortar para a gravação de tela nesse ponto. O público pode ouvir a frase corrigida enquanto vê exatamente onde clicar. Guarde a passada de sincronia labial para os trechos da tomada em que o rosto realmente acrescenta algo.

Assista ao resultado e depois escute a passagem pelo corte

Comece com o clipe sem som. Procure uma boca que continue se mexendo durante uma pausa, um salto óbvio na primeira palavra ou movimento da outra pessoa no quadro. Ligue o som novamente e confira as consoantes; depois, reproduza a correção junto com os clipes vizinhos. Uma fala pode parecer certa isoladamente e ainda assim saltar aos ouvidos porque o nível do microfone ou o som da sala mudou.

Adicione as legendas atualizadas na edição final. Se as legendas originais estiverem gravadas diretamente na imagem, use um clipe de origem limpo sempre que puder, para que a fala antiga fique de fora do vídeo revisado.

Se o plano original incluir cliques de teclado ou uma porta fechando, traga esses sons de volta em faixas separadas nos pontos certos. Abaixe o volume da música sob o pickup se ela encobrir as palavras novas.

Para um primeiro teste, coloque a correção de volta na timeline e reproduza direto passando pelo corte. Se você perceber que está prestando atenção na emenda em vez de acompanhar o tutorial, volte ao pickup e revise o nível e a ambiência da sala.

sincronia labial por IAdublagem de vídeoedição de diálogos