ЗАМЕТКИ ИЗ СТУДИИ

Как заменить реплику в видео с помощью ИИ-синхронизации губ

Исправьте фразу в готовом видео с помощью Lipsync Studio. Узнайте, как записать новую реплику, выбрать режим липсинка и незаметно встроить правку в монтаж.

Вы уже готовы экспортировать видеоурок, как вдруг слышите, что ведущий говорит: «Откройте вкладку Projects». На записи экрана показано нужное меню, но теперь оно называется «My Projects». Если в кадре звучит только закадровый голос, это исправляется за пару секунд. Но когда ведущий в кадре, зритель видит, как он произносит старое название.

Lipsync Studio берет исходный клип и запись новой реплики, а затем подстраивает движения губ спикера под обновленное аудио. Начните с одной фразы, чтобы сравнить результат с тем дублем, который у вас уже есть.

Lipsync Studio и этот блог принадлежат одному владельцу.

Если у вас есть портретное фото и исправленная аудиозапись, но нет подходящего видео с ведущим, можно оживить фотографию и заставить ее говорить. Возьмите четкий портрет, на использование которого у вас есть разрешение, и начните с одного предложения. В обучающем ролике такой говорящий фрагмент может представить шаг перед тем, как вы переключитесь на запись экрана и покажете, куда нажимать.

Послушайте оригинал и замену

В этом семисекундном тесте используются анимированный дракон и синтезированный диалог. Сначала в плеере воспроизводится исходный клип с оригинальным звуком, а затем результат работы модели video-to-video липсинка в Lipsync Studio. В исходнике звучит вопрос: “Can one picture hold a conversation? Let us try it with two voices.” («Может ли одна картинка вести диалог? Давайте попробуем на два голоса»). Замена начинается со слов: “Yes. Keep both voices on the same timeline, and leave the silence in place.” («Да. Оставьте оба голоса на одном таймлайне и сохраните паузы на своих местах»).

Обратите внимание на рот в начале каждой фразы и посмотрите, что происходит во время пауз. В двух версиях используются разные голосовые дорожки, поэтому хорошо слышно, под какие именно изменения пришлось подстраиваться модели.

Запишите дозапись, прежде чем трогать картинку

Если в кадре другой человек, получите его согласие, прежде чем менять слова, которые он произносит на экране. Прослушайте фразы до и после ошибки, а затем запишите исправленный фрагмент (pickup) в том же темпе и на том же расстоянии от микрофона. Попробуйте сказать просто «Откройте My Projects», прежде чем переписывать все предложение целиком. Если новая реплика укладывается примерно в то же время, монтажные склейки вокруг нее обычно можно не трогать.

Обрежьте тестовый клип вокруг нужной фразы и запишите замену на отдельную голосовую дорожку. Оставьте небольшой запас перед первым и после последнего слова для удобства монтажа. Сохраните оригинальное аудио на заглушенной дорожке в видеоредакторе, чтобы сверять тайминг и при необходимости восстановить естественный шум помещения (room tone) на стыках.

Выберите режим синхронизации губ под ваш кадр

Для одного спикера, смотрящего в камеру, подойдет режим Lip Sync Video (Only Lip Region). Для его работы нужно, чтобы в исходном клипе было видно движение рта.

А теперь представьте обзор оборудования с двумя ведущими в одном кадре. Ведущий слева говорит, что рекордер настроен на 16 бит, хотя на самом деле выбрано 24 бита. В режиме Lip Sync Video (Speaker Control) сначала загрузите видео, а затем с помощью маски Control Who Speaks выделите ведущего слева. Добавьте перезаписанную реплику и проверьте, чтобы рот второго ведущего оставался неподвижным там, где он должен молчать.

В любом из режимов начните с рендера только самой фразы и небольшого запаса видео по краям.

Если на исправляемом слове спикер отворачивается или прикрывает рот рукой, проще перекрыть этот момент записью экрана. Зрители услышат правильную фразу и сразу увидят, куда нужно нажать. А генерацию липсинка лучше приберечь для тех частей дубля, где мимика в кадре действительно важна.

Оцените картинку без звука, а затем послушайте склейку

Сначала посмотрите клип без звука. Проверьте, не продолжает ли рот двигаться во время паузы, нет ли заметного скачка на первом слове или лишних движений у второго человека в кадре. Включите звук и проверьте согласные, а затем проиграйте исправленный кусок вместе с соседними клипами на таймлайне. Отдельно фраза может выглядеть отлично, но в монтаже она выдаст себя, если изменился уровень микрофона или акустика комнаты.

В финальном монтаже обновите субтитры. Если старые субтитры были вшиты прямо в видео, по возможности возьмите чистый исходник, чтобы прежняя реплика не осталась в кадре.

Если в оригинальном дубле были слышны щелчки клавиатуры или звук закрывающейся двери, верните их на отдельные дорожки в нужные места. Приглушите музыку под новой репликой, если она перекрывает исправленные слова.

Для первой проверки поставьте исправленный фрагмент обратно на таймлайн и проиграйте сцену целиком без остановок. Если вы ловите себя на том, что вслушиваетесь в место склейки вместо того, чтобы следить за сутью урока, вернитесь к дозаписи и проверьте ее громкость и фоновый шум комнаты.

ИИ-синхронизация губдубляж видеомонтаж диалогов