チュートリアル動画を書き出そうとしたまさにその時、プレゼンターが「Projectsタブを開きます」と言っているのに気づきました。画面収録には正しいメニューが映っていますが、現在の名称は「My Projects」に変わっています。ナレーションだけなら2秒で直せる修正ですが、カメラには前のセリフを話すプレゼンターの口元がしっかり映ってしまっています。
Lipsync Studioは、既存のクリップと差し替え用の録音データを読み込み、新しい音声に合わせて話し手の口の動きを調整します。まずは1行だけ試して、手元にある元のテイクと仕上がりを比べてみましょう。
Lipsync Studioとこのブログは同じ運営元が所有しています。
顔写真と修正後の音声はあるものの、プレゼンターの使える動画が手元にない場合は、写真にしゃべらせることもできます。使用許可を得ている鮮明なポートレートを用意し、まずは一文から始めてみてください。チュートリアル動画なら、クリックする場所を示す画面収録へ切り替える前に、しゃべるクリップで手順の導入を任せることができます。
元の音声と差し替え後を聴き比べる
この7秒間のテストでは、アニメーションのドラゴンと合成音声を使用しています。プレイヤーではまず元クリップとオリジナル音声が再生され、続けてLipsync Studioで使われている動画対動画のリップシンクモデルによる出力結果が流れます。元クリップでは「Can one picture hold a conversation? Let us try it with two voices.（1枚の絵で会話はできるかな？ 2つの声で試してみよう）」と問いかけ、差し替え後は「Yes. Keep both voices on the same timeline, and leave the silence in place.（ええ。両方の声を同じタイムラインに並べて、無音の間もそのまま残しておいて）」と始まります。
それぞれのセリフが始まる瞬間の口元と、ポーズ（間）の最中にどう動くかに注目してください。2つのバージョンは異なる音声トラックを使っているため、モデルが追従しなければならなかった変化を耳でも確認できます。
映像を触る前にピックアップ音声を録る
自分以外の人がカメラに映っている場合は、発言内容が変わって見えるような編集を行う前に必ず本人の同意を得てください。間違えた箇所の前後にあるセリフを聴き、同じテンポ、同じマイクとの距離感でピックアップ（差し替え音声）を録音します。文全体を書き直す前に、まずは「My Projectsを開きます」のような短いフレーズから試してみましょう。新しいセリフがほぼ同じ秒数に収まれば、前後のカット割りはそのまま活かせるケースがほとんどです。
該当するセリフの前後を含めてテスト用のクリップを切り出し、差し替え音声を別トラックとして録音します。編集しやすいよう、最初と最後の単語の前後には少し余白を残しておきましょう。タイミングを比較したり、つなぎ目のルームトーン（部屋の環境音）を補ったりできるよう、元の音声も編集ソフト上でミュートしたトラックに残しておきます。
ショットに合わせてリップシンクモードを選ぶ
カメラに正対している1人の話し手には、Lip Sync Video (Only Lip Region) を試してみてください。このモードでは、元のクリップで口の動きが見えている必要があります。
次に、2人のホストが同じ画面に収まっているハードウェアのレビュー動画を想像してみてください。左側のホストが、レコーダーの設定は実際は24-bitなのに「16-bitに設定されている」と言ってしまいました。Lip Sync Video (Speaker Control) では、まず動画をアップロードし、Control Who Speaks のマスク機能を使って左側のホストを指定します。ピックアップ音声を追加したら、もう1人のホストの口元が動かずに保たれているか確認しましょう。
どちらのモードでも、まずは該当するセリフと前後のわずかな映像だけをレンダリングすることから始めてください。
修正したい単語の途中で話し手が横を向いたり口元を覆ったりする場合は、そのタイミングで画面収録へカットを切り替えるのも一つの手です。視聴者は正確なクリック場所を目で確認しながら、修正されたセリフを聞くことができます。リップシンクの処理は、表情が見えていることで映像の価値が高まる部分に絞って使いましょう。
映像を確認してから、カットを通して聴く
最初はクリップをミュートにした状態で再生します。無音の間も口が動き続けていないか、最初の単語で不自然なジャンプがないか、フレーム内の別の人物に余計な動きが出ていないかを確認しましょう。次に音声をオンにして子音の合い方をチェックし、前後のクリップとつなげて再生します。単体では自然に見えるセリフでも、マイクの音量や部屋の響きが変わっていると、通したときに浮いてしまうことがあります。
最終編集では、更新した字幕を追加します。元の映像に字幕が焼き込まれている場合は、修正後の動画に古いセリフが残らないよう、可能な限り字幕なしのクリーンな元クリップを使用してください。
元のショットにキーボードの打鍵音やドアの閉まる音が含まれている場合は、それらを別トラックで元の位置に戻します。BGMが新しいセリフに被って聞き取りにくい場合は、ピックアップの箇所だけ音楽の音量を下げましょう（ダッキング）。
最初のテストとして、修正したクリップをタイムラインに戻し、カットの前後を止めずに通して再生してみてください。チュートリアルの内容ではなく「編集のつなぎ目」に意識が向いてしまうようなら、ピックアップ音声に戻って音量レベルとルームトーンを見直しましょう。