튜토리얼 영상을 막 내보내려는 순간, 진행자가 “‘프로젝트’ 탭을 여세요”라고 말하는 부분이 귀에 들어옵니다. 화면 녹화에는 맞는 메뉴가 나오지만, 최근 업데이트로 메뉴 이름이 ‘내 프로젝트’로 바뀐 상태죠. 내레이션만 나오는 구간이라면 2초 만에 고칠 수 있는 문제입니다. 하지만 진행자의 얼굴이 화면에 잡히고 있다면 예전 대사를 말하는 입모양이 그대로 보이게 됩니다.
Lipsync Studio는 기존 비디오 클립과 새로 녹음한 오디오를 받아, 화자의 입모양이 새 음성을 따라가도록 조정해 줍니다. 먼저 대사 한 줄로 시작해 기존 테이크와 결과물을 비교해 보세요.
Lipsync Studio와 이 블로그는 동일한 소유주에 의해 운영됩니다.
만약 진행자의 프로필 사진과 수정된 녹음본은 있지만 쓸 만한 영상 클립이 없다면, 사진이 말하게 만들기 기능을 활용할 수 있습니다. 사용 권한이 있는 선명한 인물 사진을 준비하고 짧은 한 문장으로 시작해 보세요. 튜토리얼 영상이라면 마우스로 클릭할 위치를 보여주기 위해 화면 녹화로 넘어가기 직전, 이 말하는 사진 클립으로 해당 단계를 자연스럽게 소개할 수 있습니다.
원본 대사와 교체된 대사 비교해 듣기
이 7초짜리 테스트 클립은 애니메이션 드래곤과 합성 음성을 사용합니다. 플레이어는 먼저 원본 클립과 원본 사운드를 재생한 뒤, Lipsync Studio의 비디오 투 비디오(video-to-video) 립싱크 모델로 생성한 결과물을 이어서 보여줍니다. 원본에서는 “Can one picture hold a conversation? Let us try it with two voices.”(사진 한 장으로 대화를 나눌 수 있을까요? 두 개의 목소리로 시도해 봅시다.)라고 묻습니다. 교체된 대사는 “Yes. Keep both voices on the same timeline, and leave the silence in place.”(네. 두 목소리를 같은 타임라인에 두고, 침묵 구간은 그대로 남겨두세요.)로 시작합니다.
각 대사가 시작될 때의 입모양을 살펴보고, 말이 멈추는 구간에서 어떻게 처리되는지 주목해 보세요. 두 버전은 서로 다른 음성 트랙을 사용하므로 모델이 어떤 변화를 따라가야 했는지 직접 들어볼 수 있습니다.
화면을 손보기 전에 픽업 오디오부터 녹음하기
화면에 다른 사람이 등장한다면 그 사람이 말하는 내용을 바꾸기 전에 반드시 동의를 구하세요. 수정할 부분 앞뒤의 대사를 먼저 들어본 다음, 마이크와의 거리와 말의 속도를 동일하게 맞춰 픽업(대체 오디오)을 녹음합니다. 문장 전체를 새로 쓰기보다는 “‘내 프로젝트’를 여세요”처럼 핵심 부분만 먼저 맞춰보세요. 새 대사의 길이가 기존과 비슷하게 떨어지면 주변 컷 편집점을 그대로 유지할 수 있는 경우가 많습니다.
대사 전후로 여유를 두고 테스트 클립을 자른 뒤, 교체할 음성을 별도의 보이스 트랙으로 녹음하세요. 편집할 때 자연스럽게 이어 붙일 수 있도록 첫 단어와 마지막 단어 앞뒤에 약간의 여백을 남겨두는 것이 좋습니다. 편집기에서는 원본 오디오 트랙을 음소거 상태로 남겨두세요. 그래야 타이밍을 비교하고 편집 이음새 부분의 룸톤(공간음)을 복구하기가 수월합니다.
샷에 맞는 립싱크 모드 선택하기
카메라를 정면으로 바라보는 한 명의 화자라면 Lip Sync Video (Only Lip Region) 모드를 사용해 보세요. 이 모드는 원본 클립에 눈에 띄는 입 움직임이 있어야 작동합니다.
이번에는 두 명의 진행자가 한 화면에 나오는 하드웨어 리뷰 영상을 떠올려 보세요. 왼쪽 진행자가 레코더 설정이 실제로는 24-bit인데 16-bit라고 잘못 말했습니다. 이럴 때는 Lip Sync Video (Speaker Control) 모드로 들어가 비디오를 먼저 업로드한 다음, Control Who Speaks 마스크를 사용해 왼쪽 진행자를 지정합니다. 픽업 오디오를 추가하고, 다른 진행자의 입은 가만히 유지되어야 할 구간에서 움직이지 않는지 확인하세요.
어느 모드를 사용하든, 처음에는 수정할 대사와 그 앞뒤의 짧은 여유 구간만 잘라서 렌더링해 보는 것이 좋습니다.
만약 수정할 단어를 말하는 순간에 화자가 고개를 돌리거나 손으로 입을 가린다면, 차라리 그 지점에서 화면 녹화로 컷을 전환하는 방법을 고려해 보세요. 시청자는 수정된 음성을 들으면서 동시에 정확히 어디를 클릭해야 하는지 눈으로 확인할 수 있습니다. 립싱크 작업은 화자의 얼굴 표정이 영상에 힘을 실어주는 구간을 위해 아껴두세요.
눈으로 먼저 확인하고 앞뒤 컷과 이어서 들어보기
처음에는 클립을 음소거한 상태로 재생해 보세요. 대사가 멈춘 구간에서도 입이 계속 움직이거나, 첫 단어에서 화면이 눈에 띄게 튀거나, 프레임 안의 다른 사람에게서 부자연스러운 움직임이 나타나지 않는지 살펴봅니다. 그다음 소리를 켜고 자음 발음이 입모양과 잘 맞는지 확인한 뒤, 앞뒤 클립과 이어서 재생해 보세요. 수정된 구간만 따로 떼어놓고 보면 완벽해 보여도, 마이크 레벨이나 공간음이 달라지면 전체 흐름에서 유독 튀어 보일 수 있습니다.
최종 편집본에는 수정된 내용에 맞춰 자막을 업데이트하세요. 만약 원본 영상에 자막이 이미 박혀(번인) 있다면, 가급적 자막이 없는 클린 본 소스를 사용해야 수정된 영상에 예전 대사가 남아 있는 일을 피할 수 있습니다.
원본 샷에 키보드 클릭 소리나 문 닫히는 소리가 포함되어 있었다면, 별도의 트랙에 해당 효과음을 다시 가져와 원래 위치에 맞춰 넣어주세요. 배경 음악이 새로 녹음한 단어를 가린다면 픽업 오디오 구간에서 음악 볼륨을 살짝 줄여줍니다(더킹).
첫 테스트로 수정된 클립을 타임라인의 원래 자리에 다시 넣고 편집점을 지나가며 쭉 재생해 보세요. 튜토리얼 내용에 집중하는 대신 편집된 이음새에 신경이 쓰인다면, 픽업 오디오로 돌아가 볼륨 레벨과 룸톤을 다시 점검해 보세요.