你正准备导出一条教程视频,突然听到出镜主讲人说了一句“打开项目选项卡”。录屏画面里确实点开了对应的菜单,但界面改版后它现在叫“我的项目”。如果只是画外音,两秒钟就能改好;可主讲人出镜了,画面里能清楚看到他说的还是旧台词。
Lipsync Studio 可以接收现有视频片段和替换录音,并调整说话人的嘴部动作,使其贴合新音频。建议先从一句话开始尝试,方便拿生成结果和手头的原片做对比。
Lipsync Studio 与本博客归属于同一所有者。
如果你只有一张大头照和修改后的录音,手头没有主讲人可用的视频片段,也可以让照片开口说话。选用一张已获使用许可的清晰人像照,先从一句话试起。做教程时,可以先用这段动态说话片段引出操作步骤,再切到录屏画面演示具体点击位置。
听听原声与替换后的对比
这段 7 秒的测试片段使用了一条动画飞龙和合成对白。播放器会先播放带原声的原始片段,接着播放由 Lipsync Studio 所用的视频转视频口型同步模型生成的结果。原片问的是:“Can one picture hold a conversation? Let us try it with two voices.”(一张图片能进行对话吗?让我们用两个声音来试试。)替换后的台词开头则是:“Yes. Keep both voices on the same timeline, and leave the silence in place.”(可以。把两个声音放在同一条时间线上,并保留原本的停顿。)
留意每句台词开口时的嘴部动作,并观察停顿期间的变化。两个版本使用了不同的语音轨,因此你能听出模型需要跟随的声音变化。
先录好补录音频,再处理画面
如果出镜的是别人,在改动对方画面里的台词之前,请先征得本人同意。先听一下口误前后两句的语感,然后保持相同的语速和麦克风距离录制补录音频(pickup)。与其重录整句话,不如先试试只录“打开我的项目”。如果新台词的时长和原来差不多,通常就能保留原本的前后剪辑点。
在需要修改的台词前后留出一点余量,裁出一段测试片段,并将替换语音录成独立的音轨。首尾字词前后多留一点呼吸空间,方便后期剪辑。在剪辑软件里把原音频留在一条静音轨道上,这样既能比对节奏,又能在接缝处补回环境底噪(room tone)。
根据镜头选择合适的口型同步模式
如果画面里只有一个人正对镜头说话,可以试试 Lip Sync Video (Only Lip Region)。这个模式要求原片段里有清晰可见的嘴部动作。
再设想一下双人同框的硬件测评。左侧主持人口误说录音机设成了 16-bit,实际上设的是 24-bit。使用 Lip Sync Video (Speaker Control) 时,先上传视频,再用 Control Who Speaks 遮罩标记左侧主持人。加上补录音频后,检查右侧主持人的嘴部在该静止的地方是否保持不动。
无论选哪种模式,刚开始都只渲染这一句台词以及前后顺带的一点画面即可。
如果说话人在讲到要修改的词时正好转过头去,或者捂住了嘴,不妨考虑在那个时间点直接切到录屏画面。观众既能听到修正后的台词,又能看清鼠标该点哪里。把口型同步留给那些面部表情确实能为画面加分的镜头。
先静音看画面,再带着切点听声音
先把片段静音播放。仔细看停顿的时候嘴是不是还在动、第一个字入口处有没有明显的跳帧,或者画面里另一个人有没有多余的动静。接着打开声音检查辅音口型是否利落,再把修改后的片段放回前后镜头之间连起来听。有时候单看一句话画面挺自然,但一接进成片还是会显得突兀,原因往往是麦克风电平或房间声场变了。
在最终剪辑时换上更新后的字幕。如果原来的字幕已经烧录(burn-in)在画面上,尽量找一条干净的无字幕原片来处理,免得旧台词还留在成片画面里。
如果原镜头里有敲键盘或关门的声音,把这些音效单独铺在对应的轨道上补回来。如果背景音乐盖住了新录的词,记得在补录片段下方对音乐做闪避(ducking)处理。
做第一次测试时,把修正后的片段放回时间线,从头到尾顺畅地播放一遍切点。如果你发现自己听的时候注意力全在剪辑痕迹上,而不是在看教程内容,那就退回去再检查一下补录音频的电平和环境底噪。