Како да пишете промпти за AI за континуитет во наративно видео

Ја одржувате наративната кохерентност со воспоставување на цврст визуелен сид за ликовите и средините, а потоа строго ги контролирате параметрите за позиција на камерата и осветлување во секој поединечен снимок. Временската конзистентност во генеративното видео не се постигнува со надеж дека моделот ќе ја разбере вашата приказна; таа се постигнува со третирање на секој видеоснимок како дискретно рендерирање на статична, претходно дефинирана визуелна состојба.

Проблемот на временски дисконтинуитет во генеративното видео

Генеративните модели за видео работат така што предвидуваат кадри врз основа на промпт и ограничен контекстен прозорец. Тие не поседуваат трајна меморија за тоа кој бил вашиот лик во претходниот снимок. Ако генерирате петсекунден снимок на жена која оди по улица, а потоа генерирате втор петсекунден снимок на неа како се свртува, моделот го третира вториот промпт како нова, изолирана инструкција. Без експлицитни ограничувања, тој веројатно ќе ги измени нејзините црти на лицето, бојата на косата, текстурата на облеката или дури и нејзината висина. Оваа појава е временски дисконтинуитет. Моделот оптимизира за веројатност во рамките на тековниот промпт, а не за верност на глобалниот наративен идентитет. За да го решите ова, мора да се оддалечите од описите во природен јазик кои дозволуваат толкување, и да преминете кон цврсти, декларативни спецификации кои не оставаат простор за варијации.

Дефинирање на визуелниот сид: заклучување на дескрипторите за лик и средина

Пред да генерирате каква било движење, мора да ја дефинирате визуелниот идентитет на вашите субјекти и сетинг со апсолутна прецизност. Создадете главен дескриптор за секој лик. Овој дескриптор треба да вклучува непроменливи атрибути: возраст, етничка припадност, специфични црти на лицето (на пр., „силна вилица, мал белег на левата вежда“), стил и боја на косата, и детали за облеката сè до шема и крој. Не користете нејасни термини како „федна облека“ или „мистериозна жена“. Наместо тоа, специфицирајте „носи волнен палто во јагленосива боја, закопчано до врат, со црвен свилена шал“. Напишете го овој дескриптор еднаш и копирајте-залепете го во секој промпт кој го вклучува тој лик.

За средини, постапете исто. Дефинирајте ја локацијата со просторни и текстурни константи. Ако сцената е библиотека, наведете го видот дрво на полициите, бојата на тепихот и позицијата на главниот извор на светлина. Овие описници го формираат вашиот визуелен сид. Тие се статичната основа врз која се гради сето движење. Ако промените описник помеѓу клиповите, ја нарушувате континуираноста. Ако изоставите описник, моделот ќе го пополни празнината со својот сопствен статистички просек, кој ќе се разликува од претходниот клип.

Поставување на движење на камерата и просторни односи

Јазикот на камерата е местото каде што настануваат повеќето нарушувања во нарацијата. Моделите често ги толкуваат „камерата ја следи“ или „панорама надесно“ на нејасен начин, што доведува до нагли скокови во перспективата или ориентацијата. Мора експлицитно да ги дефинирате позицијата, ориентацијата и векторот на движење на камерата. Наместо да кажете „камерата се движи со ликот“, наведете „статичен среден кадар, на ниво на очите, камера фиксирана на позиција А, ликот се движи од лево надесно низ кадарот“. Ако ви треба подвижен кадар, дефинирајте ја патеката: „долли напред бавно, одржувајќи ниво на очите, следејќи го грбот на ликот.“

Просторните односи мора да бидат фиксирани во однос на камерата, а не само еден во однос на друг. Ако Лик А е свртен кон Лик Б, наведете ги нивните релативни позиции и ориентации. „Лик А стои на левата третина од кадарот, свртен надесно. Лик Б стои на десната третина, свртен налево. Тие се на два метра еден од друг.“ Ова геометриско фиксирање спречува моделот да ги замени позициите или да го промени аголот на интеракција помеѓу кадрите. Користете термини како „профил“, „три-четвртини поглед“ и „директен фронтален поглед“ за да ја фиксирате ориентацијата на лицата и телата.

Управување со конзистентноста на осветлувањето и градирањето на бои

Осветлувањето е најсуптилниот, но критичен аспект на континуитетот. Ако изворот на светлина ја смени позицијата или интензитетот помеѓу клиповите, сенките ќе се поместат, правејќи ја секвенцата да изгледа како два различни филма. Дефинирајте го вашиот распоред за осветлување во главниот дескриптор. Наведете го примарниот извор на светлина (на пр., "единечна флуоресцентна цевка над глава, ладно бела, 4000K"), насоката на сенките и амбиенталното дополнително осветлување. Вклучете упатства за градирање на бои во секој промпт. Ако вашата нарација е ноар, наведете "висока контрастност, десатурирана палета, тиркизни и портокалови тонови во сенките". Ако е светла и весела, наведете "меко дифузно дневно светло, топли височини, ниска контрастност". Овие параметри за градирање мора да останат константни во сите клипови во една сцена. Ако сакате промена на осветлувањето за наративен ефект, направете ја намерна, промптирана транзиција, а не случајно отстапување.

Поврзување на клипови: користење на последни кадри како почетни кадри

Најефикасната техника за одржување континуитет помеѓу клиповите е поврзувањето. При генерирање на секвенца, извлечете го последниот кадар од Клип 1 и користете го како почетен кадар или референтна слика за Клип 2. Ова го принудува моделот да ја започне генерацијата од точната визуелна состојба каде што претходниот клип заврши. Дури и ако текстот на промптот малку варира за новата акција, визуелното сидро на почетниот кадар го заклучува изгледот на ликот, осветлувањето и позицијата на камерата. Оваа метода е супериорна во однос на потпирањето само на текстуални промпти за континуитет бидејќи го заобиколува веројатносното толкување на дескрипторите за идентитет од страна на моделот. Ако вашиот алатка поддржува image-to-video или интерполација на клучни кадри, користете го тоа. Ако не поддржува, користете го последниот кадар како стилска референца или ограничување за inpainting за да осигурате почетокот на следниот клип да се совпаѓа со крајот на претходниот.

Чести грешки: прекумерно специфицирање на движењето наспроти недоволно специфицирање на контекстот

Креаторите често паѓаат во две екстремни стапици. Првата е прекумерното специфицирање на движењето. Ако опишете секое микро-движење на телото – "таа трепка, ја менува тежината, косата ѝ се ниша во ветерот" – моделот станува преоптоварен и може да ја игнорира основната акција или да генерира физички невозможни резултати. Држете ги описите за движење на високо ниво и кинетични: "оди напред", "врти глава", "подига рака". Оставете го моделот да ги справи микро-механиките.

Вториот проблем е недоволното дефинирање на контекстот. Ако се потпрете на моделот да ја заклучи идентитетот на ликот или осветлувањето на сцената од нејасен промпт, го губите контролитe. Не можете да претпоставите дека моделот ќе го запамети ликот од претходниот клип ако не го повторите визуелниот сидро. Не можете да претпоставите дека осветлувањето ќе остане конзистентно ако експлицитно не го ограничите. Правилото е едноставно: специфицирајте ги непроменливите елементи (идентитет, осветлување, позиција на камерата) со екстремна деталност, а специфицирајте ги променливите (движење, акција) со високо ниво на краткост.