你正準備輸出一段教學影片,卻突然聽到畫面裡的主持人說:「打開『專案』分頁。」螢幕錄影畫面顯示的是正確的選單,但它現在已經改名為「我的專案」。如果這段只有旁白,花兩秒鐘就能修好;但在鏡頭前,觀眾還是會看到主持人唸出舊台詞的嘴型。
Lipsync Studio 可以讀取現有的影片片段與替換用的錄音檔,並調整說話者的嘴型以配合新的音訊。建議先從一句台詞開始嘗試,這樣就能把生成結果與手邊原本的畫面做比對。
Lipsync Studio 與本部落格為同一所有者。
如果你手邊有主持人的清晰半身照與修正後的錄音檔,卻沒有可用的主持影片,你可以直接讓照片開口說話。請使用已取得授權的清晰人像照,並先從一個句子開始。在教學影片中,可以善用這段會說話的人像片段來引導操作步驟,接著再切回螢幕錄影畫面,示範實際要點擊的位置。
聽聽看原音與替換後的對比
這段七秒鐘的測試片段使用了動畫飛龍與合成語音。播放器會先播放帶有原始聲音的素材片段,接著播放由 Lipsync Studio 使用的 video-to-video 對嘴模型所生成的結果。原片問道:「Can one picture hold a conversation? Let us try it with two voices.」(一張圖片能進行對話嗎?讓我們用兩個聲音試試看。)替換後的台詞則從這句開始:「Yes. Keep both voices on the same timeline, and leave the silence in place.」(可以的。把兩個聲音放在同一個時間軸上,並保留原本的停頓空白。)
請觀察每一句台詞開頭的嘴型變化,並留意停頓期間的表現。這兩個版本使用了不同的語音軌道,因此你可以清楚聽出模型必須配合的語音差異。
在動手改畫面之前,先錄好補錄音軌
如果鏡頭前的人不是你本人,在改變對方看似說出口的話之前,請先取得對方的同意。先聽一下錯誤台詞前後的句子,然後用相同的語速與麥克風距離錄製補錄音軌(pickup)。與其重寫整句話,不如先試著只錄「打開『我的專案』」。如果新台詞的長度與原本差不多,通常就能保留前後原本的剪輯點。
將需要修改的那句台詞前後裁切成一小段測試片段,並將替換台詞錄製成獨立的語音軌。在第一個字和最後一個字的前後留一點空白,方便後續剪輯。在剪輯軟體中,把原始音訊保留在設為靜音的軌道上,這樣不僅能比對時間點,還能在接縫處補回現場環境音(room tone)。
為鏡頭選擇合適的對嘴模式
如果是單一講者正對鏡頭的畫面,可以試試 Lip Sync Video (Only Lip Region)。這個模式需要原始片段中有清楚可見的嘴部動作。
現在想像一個硬體評測節目,同一個畫面裡有兩位主持人。左邊的主持人說錄音機設定為 16-bit,但實際上設定的是 24-bit。在 Lip Sync Video (Speaker Control) 模式中,請先上傳影片,接著使用 Control Who Speaks 遮罩標記出左邊的主持人。加入補錄音軌後,檢查另一位主持人的嘴巴在應該安靜的地方是否保持靜止。
無論使用哪一種模式,一開始都建議只算圖(render)那句台詞以及前後一小段畫面就好。
如果說話者在講到需要修正的那個詞時剛好轉頭,或是用手遮住了嘴巴,不妨考慮在那個時間點直接切到螢幕錄影畫面。觀眾既能聽到正確的台詞,又能看清楚該點擊哪裡。把對嘴處理留給臉部表情能真正為畫面加分的片段就好。
先看畫面成果,再聽剪輯接縫處
檢查時,先把片段設為靜音。看看停頓時嘴巴是否還在動、第一個字有沒有明顯的跳接感,或是畫面裡另一個人有沒有不自然的晃動。接著打開聲音檢查子音的嘴型是否對上,並連同前後緊鄰的片段一起播放。有時候單聽一句台詞看起來很正常,但放回時間軸卻還是很突兀,這通常是因為麥克風音量或空間環境音改變了。
在最終剪輯時加上更新後的字幕。如果原始字幕已經烙印(burn-in)在畫面裡,請盡量換用乾淨的原始素材片段,避免舊台詞殘留在修正後的影片中。
如果原始鏡頭包含敲擊鍵盤或關門的聲音,請在獨立音軌上把這些音效補回原本的位置。如果背景音樂蓋過了新錄的字句,記得在補錄片段下方將音樂音量壓低(ducking)。
進行第一次測試時,把修正好的片段放回時間軸,直接順著剪輯點播放過去。如果你發現自己的注意力還是被剪輯痕跡吸走,而不是順著聽教學內容,那就回到補錄音軌,重新檢查它的音量大小與環境音。