NOTITIES UIT DE STUDIO

Een zin aanpassen in je video met AI lip sync

Herstel een zin in een bestaande video met Lipsync Studio. Leer hoe je vervangende dialoog opneemt, een lip-sync-modus kiest en de pickup in je edit mixt.

Je staat op het punt een tutorial te exporteren en hoort de presentator zeggen: “Open het tabblad Projecten.” In de schermopname zie je het juiste menu, maar dat heet nu “Mijn projecten”. Als je alleen een voice-over hoort, is dat in twee seconden opgelost. Maar op beeld zie je de presentator nog steeds de oude zin uitspreken.

Lipsync Studio neemt een bestaande clip en een vervangende audio-opname, en past de mond van de spreker aan op het nieuwe geluid. Begin met één zin, zodat je het resultaat direct kunt vergelijken met de originele take.

Lipsync Studio en dit blog hebben dezelfde eigenaar.

Heb je wel een portretfoto en de gecorrigeerde geluidsopname, maar geen bruikbare videobeelden van de presentator? Dan kun je de foto laten praten. Gebruik een scherpe portretfoto waarvoor je toestemming hebt en begin met één enkele zin. In een tutorial kan zo'n sprekende clip een stap inleiden voordat je overschakelt naar de schermopname om te laten zien waar de kijker moet klikken.

Luister naar het origineel en de vervangende opname

Deze test van zeven seconden gebruikt een geanimeerde draak en gesynthetiseerde spraak. De speler laat eerst de bronclip met het originele geluid horen en speelt daarna het resultaat af van het video-naar-video lip-sync-model dat door Lipsync Studio wordt gebruikt. In het origineel klinkt: “Can one picture hold a conversation? Let us try it with two voices.” (Kan één afbeelding een gesprek voeren? Laten we het proberen met twee stemmen.) De vervangende opname begint met: “Yes. Keep both voices on the same timeline, and leave the silence in place.” (Ja. Zet beide stemmen op dezelfde tijdlijn en laat de stilte ertussen staan.)

Let goed op de mond bij de inzet van elke zin en kijk wat er tijdens de pauzes gebeurt. De twee versies gebruiken verschillende spraaksporen, zodat je duidelijk hoort welke verandering het model moest volgen.

Neem eerst de pickup op voordat je het beeld aanpast

Als iemand anders in beeld is, vraag dan eerst toestemming voordat je verandert wat diegene lijkt te zeggen. Beluister de zinnen vlak voor en na de fout en neem een pickup op in hetzelfde tempo en op dezelfde afstand van de microfoon. Probeer eerst alleen “Open Mijn projecten” op te nemen voordat je de hele zin herschrijft. Als de nieuwe zin ongeveer even lang duurt, kun je de bestaande cuts eromheen meestal gewoon laten staan.

Knip een testclip rondom de zin uit en neem de vervangende tekst op als een apart audiospoor. Laat wat ruimte vrij voor het eerste en na het laatste woord voor de montage. Bewaar de originele audio op een gedempt spoor in je montageprogramma, zodat je de timing kunt vergelijken en de room tone op de overgangen kunt herstellen.

Kies de juiste lip-sync-modus voor het shot

Voor één spreker die recht in de camera kijkt, kies je Lip Sync Video (Only Lip Region). Hiervoor moet in de originele clip al duidelijke mondbeweging zichtbaar zijn.

Stel je nu een hardwarereview voor met twee presentatoren in hetzelfde shot. De presentator links zegt dat de recorder op 16-bit staat, terwijl dat eigenlijk 24-bit moet zijn. Upload in Lip Sync Video (Speaker Control) eerst de video en gebruik daarna het masker Control Who Speaks om de linker presentator te markeren. Voeg de pickup toe en controleer of de mond van de andere presentator stil blijft op de momenten dat dat hoort.

In beide modi is het slim om eerst alleen de gecorrigeerde zin met een klein stukje beeld ervoor en erna te renderen.

Draait de spreker net weg tijdens het verbeterde woord of houdt diegene een hand voor de mond? Overweeg dan om precies op dat moment naar de schermopname te snijden. De kijker hoort dan de verbeterde tekst terwijl op het scherm te zien is waar geklikt moet worden. Bewaar de lip-sync-bewerking voor de momenten in de take waarop het gezicht echt iets toevoegt.

Bekijk het resultaat en luister daarna naar de overgang

Bekijk de clip eerst zonder geluid. Let op of de mond blijft bewegen tijdens een stilte, of er een zichtbare sprong zit bij het eerste woord, of dat de andere persoon in beeld onbedoeld meebeweegt. Zet het geluid weer aan om de medeklinkers te controleren en speel de correctie vervolgens af met de aansluitende clips ervoor en erna. Een losse zin kan er op zichzelf goed uitzien, maar toch opvallen doordat het microfoonniveau of de ruimteakoestiek net even anders klinkt.

Voeg in de uiteindelijke montage je bijgewerkte ondertiteling toe. Zijn de originele ondertitels in het beeld ingebrand, gebruik dan waar mogelijk een schone bronclip zodat de oude tekst niet zichtbaar blijft in de herziene video.

Zaten er in het originele shot geluiden zoals toetsaanslagen of een dichtslaande deur, zet die dan op aparte sporen terug op de juiste plek.Verlaag het volume van de achtergrondmuziek (ducking) onder de pickup als de muziek de nieuwe woorden overstemt.

Zet voor een eerste test de correctie terug in de tijdlijn en speel het geheel achter elkaar af over de las. Merk je dat je aandacht naar de montage-overgang trekt in plaats van naar de inhoud van de tutorial? Ga dan terug naar de pickup en controleer het volume en de room tone.

AI lip syncvideo nasynchronisatiedialoog monteren