STÜDYODAN NOTLAR

Yapay Zeka Dudak Senkronizasyonu ile Bir Diyalog Repliği Nasıl Değiştirilir

Lipsync Studio ile mevcut bir videodaki repliği düzeltin. Yeni diyalog kaydetmeyi, dudak senkronizasyonu modunu seçmeyi ve ek kaydı kurguya yedirmeyi öğrenin.

Bir eğitim videosunu dışa aktarmak üzereyken sunucunun “Projeler sekmesini açın” dediğini fark ettiniz diyelim. Ekran kaydı doğru menüyü gösteriyor ama menünün adı artık “Projelerim” olmuş. Sadece dış ses duyuluyor olsaydı bu iki saniyelik bir düzeltme olurdu. Ancak kamerada sunucunun eski repliği söylediği açıkça görülüyor.

Lipsync Studio, mevcut bir klibi ve yeni ses kaydını alıp konuşmacının ağız hareketlerini yeni sese uyacak şekilde ayarlar. Sonucu elinizdeki mevcut çekimle karşılaştırabilmek için işe tek bir replikle başlayın.

Lipsync Studio ve bu blog aynı sahibindir.

Elinizde sunucunun bir portre fotoğrafı ve düzeltilmiş ses kaydı varsa ancak kullanılabilir bir videosu yoksa, fotoğrafı konuşturabilirsiniz. Kullanım izniniz olan net bir portre seçin ve tek bir cümleyle başlayın. Bir eğitim videosunda, nereye tıklanacağını gösteren ekran kaydına geçmeden önce adımı tanıtmak için bu konuşan klibi kullanabilirsiniz.

Orijinal ve değiştirilmiş kaydı dinleyin

Bu yedi saniyelik testte animasyonlu bir ejderha ve sentezlenmiş diyalog kullanılıyor. Oynatıcı, kaynak kliple ve orijinal sesiyle başlıyor, ardından Lipsync Studio'nun kullandığı videodan videoya dudak senkronizasyonu modelinden çıkan sonucu oynatıyor. Kaynak klipte “Can one picture hold a conversation? Let us try it with two voices.” (Tek bir resim sohbeti sürdürebilir mi? İki sesle deneyelim.) sorusu yer alıyor. Yeni replik ise “Yes. Keep both voices on the same timeline, and leave the silence in place.” (Evet. İki sesi de aynı zaman çizelgesinde tutun ve sessizliği olduğu gibi bırakın.) cümlesiyle başlıyor.

Her replik başlarken ağız hareketlerini izleyin ve duraklamalar sırasında ne olduğuna dikkat edin. İki versiyon farklı konuşma kanalları kullandığından, modelin takip etmek zorunda olduğu değişimi net bir şekilde duyabilirsiniz.

Görüntüye dokunmadan önce düzeltme kaydını alın

Kamerada bir başkası varsa, ne söylediğini değiştirmeden önce onayını alın. Hatanın öncesindeki ve sonrasındaki replikleri dinleyin, ardından mikrofona aynı mesafeden ve aynı tempoda bir düzeltme kaydı (pickup) alın. Tüm cümleyi baştan yazmadan önce sadece “Projelerim'i açın” demeyi deneyin. Yeni replik aşağı yukarı aynı sürede biterse, etrafındaki kesmeleri genellikle olduğu gibi koruyabilirsiniz.

Repliğin etrafından bir test klibi kırpın ve yeni repliği ayrı bir ses kanalı olarak kaydedin. Kurgu payı için ilk ve son kelimelerin etrafında biraz boşluk bırakın. Zamanlamayı karşılaştırabilmek ve kesme noktalarındaki oda sesini (room tone) kurtarabilmek için orijinal sesi kurgu programınızda sessize alınmış bir kanalda tutun.

Çekime uygun bir dudak senkronizasyonu modu seçin

Kameraya bakan tek bir konuşmacı için Lip Sync Video (Only Lip Region) modunu deneyin. Bu mod, orijinal klipte görünür ağız hareketlerine ihtiyaç duyar.

Şimdi aynı karede iki sunucunun yer aldığı bir donanım incelemesini düşünün. Soldaki sunucu, kayıt cihazı aslında 24-bit'e ayarlıyken 16-bit'e ayarlı olduğunu söylüyor. Lip Sync Video (Speaker Control) modunda önce videoyu yükleyin, ardından soldaki sunucuyu işaretlemek için Control Who Speaks maskesini kullanın. Düzeltme kaydını ekleyin ve diğer sunucunun ağzının olması gerektiği gibi sabit kaldığını kontrol edin.

Her iki modda da işe yalnızca ilgili repliği ve her iki yanındaki birkaç karelik görüntüyü işleyerek (render alarak) başlayın.

Konuşmacı düzeltilen kelime sırasında başını çeviriyorsa veya ağzını kapatıyorsa, tam o noktada ekran kaydına kesme yapmayı düşünün. İzleyici tam olarak nereye tıklayacağını görürken düzeltilmiş repliği duyabilir. Dudak senkronizasyonu işlemini, yüzün anlatıma gerçekten katkıda bulunduğu kısımlara saklayın.

Sonucu izleyin, ardından geçişi dinleyin

İşe klibi sessize alarak başlayın. Duraklama sırasında hareket etmeye devam eden bir ağız, ilk kelimede belirgin bir sıçrama veya karedeki diğer kişide istenmeyen bir hareket olup olmadığına bakın. Sesi tekrar açıp ünsüzleri kontrol edin, ardından düzeltmeyi her iki yanındaki kliplerle birlikte oynatın. Bir replik tek başına doğru görünse bile mikrofon seviyesi veya oda sesi değiştiği için kurguda sırıtabilir.

Son kurguda güncellenmiş altyazılarınızı ekleyin. Orijinal altyazılar görüntüye gömülüyse (burned-in), eski repliğin revize edilmiş videoda kalmaması için mümkünse temiz bir kaynak klip kullanın.

Orijinal çekimde klavye tıklamaları veya kapı kapanma sesi varsa, bunları ait oldukları yerlere ayrı kanallarda geri getirin. Müzik yeni kelimeleri bastırıyorsa, düzeltme kaydının altında müziğin sesini kısın (ducking).

İlk test için düzeltmeyi zaman çizelgesine geri koyun ve kesme noktasını hiç durdurmadan oynatın. Kendinizi eğitimi takip etmek yerine kurgu geçişini dinlerken bulursanız, düzeltme kaydına geri dönüp ses seviyesini ve oda sesini kontrol edin.

yapay zeka dudak senkronizasyonuvideo dublajdiyalog kurgusu