Održavate narativnu koherentnost tako da uspostavite čvrst vizualni sidro za likove i okruženja, a zatim strogo kontrolirate položaj kamere i parametre osvjetljenja u svakom pojedinačnom isječku. Vremenska konzistentnost u generativnom videu ne postiže se nadom da će model razumjeti vašu priču; postiže se tretiranjem svakog video isječka kao zasebnog prikaza statičnog, unaprijed definiranog vizualnog stanja.
Problem vremenske diskontinuitete u generativnom videu
Generativni video modeli funkcioniraju predviđanjem kadrova na temelju upita i ograničenog kontekstnog prozora. Oni ne posjeduju trajnu memoriju o tome tko je vaš lik bio u prethodnom isječku. Ako generirate petosekundni isječak žene koja hoda ulicom, a zatim generirate drugi petosekundni isječak u kojem se ona okreće, model drugi upit tretira kao novu, izoliranu instrukciju. Bez eksplicitnih ograničenja, vjerojatno će promijeniti njezine crte lica, boju kose, teksturu odjeće ili čak visinu. Ovaj fenomen naziva se vremenska diskontinuiteta. Model optimizira vjerodostojnost unutar trenutnog upita, a ne vjernost globalnom narativnom identitetu. Kako biste to riješili, morate se odmaknuti od opisa prirodnim jezikom koji dopuštaju interpretaciju i prijeći na krute, deklarativne specifikacije koje ne ostavljaju prostora za varijacije.
Definiranje vizualnog sidra: zaključavanje deskriptora lika i okoliša
Prije generiranja bilo kakvog pokreta, morate definirati vizualni identitet svojih subjekata i postavke s apsolutnom preciznošću. Izradite glavni deskriptor za svakog lika. Ovaj deskriptor treba uključivati nepromjenjive atribute: dob, etničku pripadnost, specifične crte lica (npr. "izražena čeljust, blagi ožiljak na lijevom obrvu"), frizuru i boju kose, te detalje odjeće sve do uzorka i kroja. Nemojte koristiti neodređene pojmove poput "cool outfit" ili "mysterious woman". Umjesto toga, specificirajte "nosi vuneni kaput ugljenito sive boje, zakopčan do vrata, s crvenom svilenom maramicom". Ovaj deskriptor napišite jednom i kopirajte ga u svaki upit koji uključuje tog lika.
Za okruženja postupite na isti način. Definirajte lokaciju prostornim i teksturnim konstantama. Ako je scena knjižnica, navedite vrstu drva na policama, boju tepiha i položaj glavnog izvora svjetla. Ti opisi čine vaš vizualni sidro. Oni su statična temelj na kojoj se gradi sve kretanje. Ako promijenite opis između isječaka, narušavate kontinuitet. Ako izostavite opis, model će ispuniti prazninu svojim statističkim prosjekom, koji će se razlikovati od vašeg prethodnog isječka.
Određivanje kretanja kamere i prostornih odnosa
Kamerna je lektura mjesto gdje većina narativnih prekida nastaje. Modeli često dvosmisleno tumače „kamera prati“ ili „pan desno“, što dovodi do naglih skokova u perspektivi ili orijentaciji. Morate eksplicitno definirati položaj kamere, orijentaciju i vektor gibanja. Umjesto da kažete „kamera se pomiče s likom“, navedite „statični srednji kadar, razina očiju, kamera fiksirana na položaju A, lik se pomiče s lijeva na desno preko kadra“. Ako zahtijevate pokretni kadar, definirajte putanju: „dolly naprijed polako, održavajući razinu očiju, prateći leđa lika“.
Prostorni odnosi moraju biti fiksirani u odnosu na kameru, a ne samo međusobno. Ako Lik A gleda prema Liku B, navedite njihove relativne položaje i orijentacije. "Lik A stoji na lijevoj trećini kadra, okrenut desno. Lik B stoji na desnoj trećini, okrenut lijevo. Razmak između njih je dva metra." Ovo geometrijsko zaključavanje sprječava model da zamijeni položaje ili promijeni kut susreta između kadrova. Koristite termine poput "profilni pogled", "tri četvrtine pogled" i "izravan frontalni pogled" kako biste fiksirali orijentaciju lica i tijela.
Upravljanje dosljednošću osvjetljenja i korekcije boja
Osvjetljenje je najsubtilniji, ali ključan aspekt kontinuiteta. Ako se položaj ili intenzitet izvora svjetlosti mijenjaju između isječaka, sjene će se pomicati, zbog čega niz djeluje kao dva različita filma. Definirajte postavke osvjetljenja u glavnom opisu. Navedite primarni izvor svjetla (npr. "jedna stropna fluorescentna cijev, hladno bijela, 4000K"), smjer sjena i ambijentalno dopunsko svjetlo. Uključite upute za korekciju boja u svaki prompt. Ako je vaša naracija noir, navedite "visoki kontrast, desaturirana paleta, tirkizne i narančaste nijanse sjena". Ako je svijetla i vesela, navedite "meko difuzno dnevno svjetlo, tople istaknute dijelove, niski kontrast". Ovi parametri korekcije boja moraju ostati konstantni u svim isječcima unutar scene. Ako želite promjenu osvjetljenja za narativni učinak, učinite to namjernim, promptiranim prijelazom, a ne slučajnim odstupanjem.
Povezivanje isječaka: korištenje završnih kadrova kao početnih kadrova
Najučinkovitija tehnika za održavanje kontinuiteta između isječaka je povezivanje. Pri generiranju niza, izdvojite završni kadar Izrečka 1 i upotrijebite ga kao početni kadar ili referentnu sliku za Izrečak 2. To prisiljava model da započne generiranje od točno tog vizualnog stanja gdje je prethodni isječak završio. Čak i ako se tekstualni prompt neznatno razlikuje za novu radnju, vizualno sidro početnog kadra zaključuje izgled lika, osvjetljenje i položaj kamere. Ova metoda je superiornija od oslanjanja isključivo na tekstualne promptove za kontinuitet jer zaobilazi probabilističku interpretaciju deskriptora identiteta od strane modela. Ako vaše alat podržava pretvorbu slike u video ili interpolaciju ključnih kadrova, upotrijebite ga. Ako ne podržava, upotrijebite završni kadar kao referencu stila ili ograničenje za inpainting kako biste osigurali da početak sljedećeg isječka odgovara kraju prethodnog.
Česti pogreške: prekomjerno specificiranje pokreta naspram nedovoljnog specificiranja konteksta
Kreatori često upadaju u dvije ekstremne zamke. Prva je prekomjerno specificiranje pokreta. Ako opišete svaki mikro-pokret tijela – "ona trepće, ona pomiče težinu, njena kosa se ljulja u vjetru" – model postaje preopterećen i može zanemariti osnovnu radnju ili generirati fizički nemoguće rezultate. Opišite pokrete na visokoj razini i kinetički: "hoda naprijed", "okreće glavu", "diže ruku". Prepustite modelu da riješi mikro-mehaniku.
Drugi je nedovoljno specificiranje konteksta. Ako se oslanjate na model da iz nejasnog upita zaključi identitet lika ili osvjetljenje scene, gubite kontrolu. Ne možete pretpostaviti da će model zapamtiti lika iz prethodnog isječka ako ne ponovite vizualnu sidrišnu točku. Ne možete pretpostaviti da će osvjetljenje ostati dosljedno ako ga eksplicitno ne ograničite. Pravilo je jednostavno: ekstremno detaljno specificirajte nepromjenjivo (identitet, osvjetljenje, položaj kamere), a visokorazinskom sažetošću specificirajte promjenjivo (pokret, radnja).