Koherenciju naracije održavate tako što uspostavite čvrsti vizuelni sidrište za likove i okruženja, a zatim strogo kontrolišete položaj kamere i parametre osvjetljenja kroz svaki pojedinačni isječak. Vremensku konzistentnost u generativnom videu ne postižete nadajući se da model razumije vašu priču; postižete je tretirajući svaki video isječak kao diskretno renderiranje statičnog, unaprijed definisanog vizuelnog stanja.
Problem vremenske diskontinuitete u generativnom videu
Generativni video modeli rade tako što predviđaju kadrove na osnovu prompta i ograničenog kontekstualnog prozora. Oni ne posjeduju trajnu memoriju o tome kako je vaš lik izgledao u prethodnom isječku. Ako generišete petosekundni isječak žene koja hoda ulicom, a zatim generišete drugi petosekundni isječak gdje se ona okreće, model drugi prompt tretira kao novu, izolovanu instrukciju. Bez eksplicitnih ograničenja, vjerovatno će promijeniti njene crte lica, boju kose, teksturu odjeće ili čak visinu. Ovaj fenomen naziva se vremenska diskontinuiteta. Model optimizuje vjerodostojnost unutar trenutnog prompta, a ne vjernost globalnom identitetu naracije. Da biste ovo riješili, morate odustati od opisa prirodnim jezikom koji dozvoljavaju interpretaciju i preći na krute, deklarativne specifikacije koje ne ostavljaju prostor za varijacije.
Definisanje vizuelnog sidrišta: zaključavanje deskriptora lika i okruženja
Prije generisanja bilo kakvog pokreta, morate definisati vizuelni identitet svojih subjekata i postavke s apsolutnom preciznošću. Kreirajte glavni deskriptor za svaki lik. Ovaj deskriptor treba da uključuje nepromjenjive atribute: dob, etničku pripadnost, specifične crte lica (npr. "izražena vilica, blagi ožiljak na lijevom obrvu"), frizuru i boju kose, te detalje odjeće sve do uzorka i kroja. Ne koristite neodređene termine poput "cool outfit" ili "mysterious woman". Umjesto toga, navedite "nosi vuneni kaput boje uglja, zakopčan do vrata, sa crvenom svilenom maramicom". Napišite ovaj deskriptor jednom i kopirajte ga u svaki prompt koji uključuje tog lika.
Za okruženja, postupite isto. Definirajte lokaciju prostornim i teksturalnim konstantama. Ako je scena biblioteka, navedite vrstu drveta na policama, boju tepiha i položaj glavnog izvora svjetlosti. Ovi deskriptori čine vaš vizuelni sidro. Oni su statična osnova na kojoj se gradi sve kretanje. Ako promijenite deskriptor između klipova, narušavate kontinuitet. Ako izostavite deskriptor, model će popuniti prazninu svojim statističkim prosjekom, koji će se razlikovati od vašeg prethodnog klipa.
Prompting kretanja kamere i prostornih odnosa
Jezik kamere je mjesto gdje se najčešće događaju problemi u narativu. Modeli često dvosmisleno tumače "kamera prati" ili "pan desno", što dovodi do naglih skokova u perspektivi ili orijentaciji. Morate eksplicitno definirati položaj kamere, orijentaciju i vektor pokreta. Umjesto da kažete "kamera se pomiče s likom", navedite "statični srednji kadar, razina očiju, kamera fiksirana na poziciji A, lik se pomiče s lijeva na desno preko kadra". Ako zahtijevate pokretni kadar, definirajte putanju: "dolly naprijed polako, održavajući razinu očiju, prateći leđa lika".
Prostorni odnosi moraju biti zaključani u odnosu na kameru, a ne samo međusobno. Ako lik A gleda u lika B, navedite njihove relativne pozicije i orijentacije. "Lik A stoji na lijevoj trećini kadra, okrenut udesno. Lik B stoji na desnoj trećini, okrenut ulijevo. Razmak između njih je dva metra." Ovo geometrijsko zaključavanje sprječava model da zamijeni pozicije ili promijeni ugao susreta između kadrova. Koristite termine kao što su "profilni pogled", "tričetvrtinski pogled" i "direktan frontalni pogled" kako biste fiksirali orijentaciju lica i tijela.
Upravljanje dosljednošću osvjetljenja i korekcije boja
Osvjetljenje je najsuptilniji, ali ključan aspekt kontinuiteta. Ako se položaj ili intenzitet izvora svjetlosti mijenjaju između klipova, sjene će se pomjerati, zbog čega sekvenca djeluje kao dva različita filma. Definirajte postavke osvjetljenja u glavnom opisu. Navedite primarni izvor svjetlosti (npr. "jedna fluorescentna cijev na plafonu, hladno bijela, 4000K"), smjer sjena i ambijentalno dopunsko osvjetljenje. Uključite upute za korekciju boja u svaki prompt. Ako je vaša naracija noir, navedite "visok kontrast, desaturirana paleta, tirkizne i narančaste nijanse sjena". Ako je svijetla i vesela, navedite "meko difuzno dnevno svjetlo, tople istaknute dijelove, nizak kontrast". Ovi parametri korekcije boja moraju ostati konstantni kroz sve klipove u sceni. Ako želite promjenu osvjetljenja za narativni efekat, učinite to namjernim, unaprijed definisanim prelazom, a ne slučajnim odstupanjem.
Povezivanje klipova: korištenje završnih kadrova kao početnih kadrova
Najefikasnija tehnika za održavanje kontinuiteta između klipova je povezivanje. Pri generiranju sekvence, izdvojite završni kadar Klipa 1 i koristite ga kao početni kadar ili referentnu sliku za Klip 2. To prisiljava model da započne generiranje od tačnog vizuelnog stanja gdje je prethodni klip završio. Čak i ako se tekstualni prompt blago mijenja za novu radnju, vizuelno sidro početnog kadra zaključava izgled lika, osvjetljenje i položaj kamere. Ova metoda je superiornija od oslanjanja isključivo na tekstualne promptove za kontinuitet jer zaobilazi probabilističku interpretaciju deskriptora identiteta od strane modela. Ako vaš alat podržava pretvaranje slike u video ili interpolaciju ključnih kadrova, koristite ga. Ako ne podržava, koristite završni kadar kao stilsku referencu ili ograničenje za inpainting kako biste osigurali da početak sljedećeg klipa odgovara kraju prethodnog.
Česte greške: prekomjerno specificiranje pokreta naspram nedovoljnog specificiranja konteksta
Kreatori često upadaju u dvije ekstremne zamke. Prva je prekomjerno specificiranje pokreta. Ako opišete svaki mikro-pokret tijela – "ona trepće, ona pomjera težinu, njena kosa se ljulja na vjetru" – model postaje preopterećen i može ignorisati osnovnu radnju ili generisati fizički nemoguće rezultate. Držite opise pokreta na visokom nivou i kinetičkim: "hoda naprijed", "okreće glavu", "podiže ruku". Prepustite modelu da obradi mikro-mehaniku.
Drugi problem je nedovoljno specificiranje konteksta. Ako se oslanjate na model da iz nejasnog upita zaključi identitet lika ili osvjetljenje scene, gubite kontrolu. Ne možete pretpostaviti da će model zapamtiti lika iz prethodnog isječka ako ne ponovite vizualni sidro. Ne možete pretpostaviti da će osvjetljenje ostati dosljedno ako ga eksplicitno ne ograničite. Pravilo je jednostavno: ekstremno detaljno specificirajte nepromjenjivo (identitet, osvjetljenje, položaj kamere), a visokorazinskom sažetošću specificirajte promjenjivo (pokret, radnja).