Поддържате наративна съгласуваност, като установите твърд визуален якор за персонажите и средите, след което строго контролирате позицията на камерата и параметрите на осветлението във всеки отделен клип. Временната последователност в генеративното видео не се постига чрез надежда, че моделът разбира вашата история; тя се постига чрез третиране на всеки видеоклип като дискретно рендиране на статично, предварително дефинирано визуално състояние.
Проблемът с временното прекъсване в генеративното видео
Генеративните видео модели работят, като предсказват кадри въз основа на промпт и ограничен контекстен прозорец. Те нямат постоянна памет за това как изглеждаше вашият персонаж в предишния клип. Ако генерирате петсекунден клип на жена, вървяща по улица, а след това генерирате втори петсекунден клип, в който тя се обръща, моделът третира втория промпт като нова, изолирана инструкция. Без ясни ограничения той вероятно ще промени чертите на лицето ѝ, цвета на косата, текстурата на дрехите или дори ръста ѝ. Това явление е временна прекъснатост. Моделът оптимизира за правдоподобност в рамките на текущия промпт, а не за вярност към глобалната наративна идентичност. За да решите това, трябва да преминете от описания с естествен език, които допускат тълкуване, към твърди, декларативни спецификации, които не оставят място за вариации.
Дефиниране на визуалния якор: фиксиране на описанията за персонаж и среда
Преди да генерирате движение, трябва да дефинирате визуалната идентичност на вашите субекти и обстановка с абсолютна прецизност. Създайте основно описание за всеки персонаж. Това описание трябва да включва неизменни атрибути: възраст, етническа принадлежност, конкретни черти на лицето (напр. "изразена челюст, лека белег на лявата вежда"), стил и цвят на косата и детайли за облеклото, включително шарка и кройка. Не използвайте неясни термини като "готво облекло" или "загадъчна жена". Вместо това посочете "носеща вълнено палто в въгленосив цвят, закопчано до врата, с червен копринен шал". Напишете това описание веднъж и го копирайте във всеки промпт, свързан с този персонаж.
За средите правете същото. Определете локацията с пространствени и текстурни константи. Ако сцената е библиотека, посочете вида дърво на рафтовете, цвета на килима и позицията на основния източник на светлина. Тези описания формират вашия визуален котва. Те са статичната основа, върху която се изгражда цялото движение. Ако промените описание между клиповете, нарушавате непрекъснатостта. Ако пропуснете описание, моделът ще запълни празнината със своя статистически среден показател, който ще се различава от предишния ви клип.
Подканване на движение на камерата и пространствени отношения
Езикът на камерата е мястото, където възникват повечето нарушения в повествованието. Моделите често тълкуват нееднозначно „камерата следва“ или „панорама надясно“, което води до рязко сменяне на перспективата или ориентацията. Трябва изрично да определите позицията, ориентацията и вектора на движение на камерата. Вместо да кажете „камерата се движи с героя“, уточнете: „статичен среден план, на нивото на очите, камера фиксирана в позиция А, героят се движи отляво надясно през кадъра“. Ако изисквате движещ се план, определете пътеката: „плавно придвижване напред, запазвайки нивото на очите, проследявайки гърба на героя“.
Пространствените отношения трябва да бъдат фиксирани спрямо камерата, а не само една спрямо друга. Ако персонаж А е обърнат към персонаж Б, посочете техните относителни позиции и ориентации. „Персонаж А стои в лявата третина на кадъра, обърнат надясно. Персонаж Б стои в дясната третина, обърнат наляво. Те са на два метра един от друг.“ Това геометрично фиксиране предотвратява размяната на позициите или промяната на ъгъла на взаимодействие между кадрите. Използвайте термини като „профил“, „три-четвърти“ и „директен фронтален изглед“, за да фиксирате ориентацията на лицата и телата.
Управление на осветлението и последователността при цветовата корекция
Осветлението е най-финият, но критичен аспект на непрекъснатостта. Ако източникът на светлина промени позицията или интензитета си между клиповете, сенките ще се изместят, което ще накара последователността да изглежда като два различни филма. Определете вашата схема за осветление в основния описател. Посочете основния източник на светлина (напр. "единична горна флуоресцентна тръба, студено бяло, 4000K"), посоката на сенките и околната запълваща светлина. Включете инструкции за цветово градиране във всеки промпт. Ако вашата история е нуар, посочете "висок контраст, десатурирана палитра, тюркоазени и оранжеви тонове на сенките". Ако е ярка и весела, посочете "мека дифузна дневна светлина, топли светли места, нисък контраст". Тези параметри за градиране трябва да останат постоянни във всички клипове в една сцена. Ако искате промяна в осветлението за нарративен ефект, направете я умишлен, зададен чрез промпт преход, а не случайно отклонение.
Верижно свързване на клипове: използване на крайните кадри като начални кадри
Най-ефективната техника за поддържане на непрекъснатост между клиповете е верижното свързване. При генериране на последователност, извлечете последния кадър от Клип 1 и го използвайте като начален кадър или референтно изображение за Клип 2. Това принуждава модела да започне генерирането си от точното визуално състояние, в което предишният клип завърши. Дори ако текстът на промпта варира леко за новото действие, визуалният котва на началния кадър фиксира външния вид на героя, осветлението и позицията на камерата. Този метод е по-добър от разчитането единствено на текстови промптове за непрекъснатост, защото заобикаля вероятностната интерпретация на модела за описанията на идентичността. Ако вашето устройство поддържа превръщане на изображение във видео или интерполация на ключови кадри, използвайте го. Ако не, използвайте крайния кадър като стил референция или ограничение за inpainting, за да гарантирате, че началото на следващия клип съвпада с края на предишния.
Чести грешки: прекомерно описване на движението срещу недостатъчно описване на контекста
Създателите често попадат в две крайни капани. Първият е прекомерното описване на движението. Ако опишете всяко микродвижение на тялото – "тя мига, тя прехвърля тежестта си, косата ѝ се люлее във вятъра", моделът става претоварен и може да игнорира основното действие или да генерира физически невъзможни резултати. Дръжте описанията на движението на високо ниво и кинетични: "върви напред", "обръща глава", "вдига ръка". Оставете модела да се справи с микро-механиката.
Второто е недостатъчно уточняване на контекста. Ако разчитате модела да изведе самоличността на героя или осветлението на сцената от неясен промпт, губите контрол. Не можете да приемете за дадено, че моделът ще запомни героя от предишния клип, ако не повторите визуалния якор. Не можете да приемете за дадено, че осветлението ще остане последователно, ако не го ограничите изрично. Правилото е просто: уточнете неизменното (самоличност, осветление, позиция на камерата) с изключителна подробност, а променливото (движение, действие) – с високо ниво на краткост.