Zveznost pripovedi ohranjate tako, da vzpostavite trdno vizualno sidro za like in okolja, nato pa strogo nadzorujete položaj kamere in parametre osvetlitve v vsakem posameznem posnetku. Časovna doslednost v generativnem videu ni dosežena z upanjem, da model razume vašo zgodbo; dosežena je s tem, da vsak videoposnetek obravnavate kot ločen prikaz statičnega, vnaprej določenega vizualnega stanja.
Problem časovne nezveznosti v generativnem videu
Generativni video modeli delujejo tako, da napovedujejo sličice na podlagi poziva in omejenega kontekstnega okna. Nimajo trajnega spomina na to, kakšen je bil vaš lik v prejšnjem posnetku. Če generirate petsekundni posnetek ženske, ki hodi po ulici, nato pa generirate drugi petsekundni posnetek, kjer se obrne, model drugi poziv obravnava kot nov, izoliran ukaz. Brez izrecnih omejitev bo verjetno spremenil njene obrazne poteze, barvo las, teksturo oblačil ali celo njeno višino. Ta pojav je časovna nezveznost. Model optimizira za verjetnost v okviru trenutnega poziva, ne za zvestobo globalni identiteti pripovedi. Za rešitev tega problema se morate oddaljiti od opisov v naravnem jeziku, ki dopuščajo interpretacijo, in se usmeriti v toge, deklarativne specifikacije, ki ne puščajo prostora za variacije.
Določitev vizualnega sidra: zaklepanje deskriptorjev lika in okolja
Pred generiranjem kakršnegakoli gibanja morate z absolutno natančnostjo določiti vizualno identiteto svojih subjektov in ozadja. Ustvarite glavni deskriptor za vsak lik. Ta deskriptor mora vključevati nespremenljive atribute: starost, etnično pripadnost, specifične obrazne poteze (npr. "močna čeljust, rahla brazgotina na levem obrvi"), slog in barvo las ter podrobnosti oblačil vse do vzorca in kroja. Ne uporabljajte nejasnih izrazov, kot so "kul oblačilo" ali "misteriozna ženska". Namesto tega navedite "nosi ogljikovo sivo volneno plašč, zapet do vratu, z rdečo svilenim šal". Ta deskriptor napišite enkrat in ga kopirajte v vsak poziv, ki vključuje tega lika.
Za okolja storite enako. Lokacijo določite s prostorskimi in teksturnimi konstantami. Če je scena knjižnica, navedite vrsto lesa na policah, barvo preproge in položaj glavnega vira svetlobe. Ti opisniki tvorijo vaš vizualni sidrni element. So statična podlaga, na kateri je zgrajeno vse gibanje. Če med posnetki spremenite opisnik, porušite kontinuiteto. Če opisnika izpustite, bo model vrzel zapolnil s svojim statističnim povprečjem, ki se bo razlikoval od vašega prejšnjega posnetka.
Spodbujanje gibanja kamere in prostorskih odnosov
Jezik kamere je tam, kjer največkrat pride do razpadanja pripovedi. Modeli pogosto dvoumno razumejo ukaze "kamera sledi" ali "panoramično desno", kar vodi v nenadne skoke v perspektivi ali orientaciji. Položaj, usmerjenost in vektor gibanja kamere morate jasno določiti. Namesto "kamera se premika s karakterjem" navedite "statični srednji kader, višina oči, kamera fiksirana na položaju A, karakter se premika od leve proti desni čez kader". Če potrebujete gibljiv kader, določite pot: "počasen premik naprej (dolly), ohranjanje višine oči, sledenje hrbtu karakterja".
Prostorski odnosi morajo biti zaklenjeni glede na kamero, ne le glede na drug drugega. Če je oseba A obrnjena proti osebi B, določite njune relativne položaje in orientacije. "Oseba A stoji na levem tretjini kadra, obrnjena desno. Oseba B stoji na desnem tretjini, obrnjena levo. Med njima je razdalja dva metra." To geometrijsko zaklepanje preprečuje, da bi model zamenjal položaje ali spremenil kot pogovora med posnetki. Uporabite izraze, kot so "profilni pogled", "tričetrtinski pogled" in "neposredni frontalni pogled", da fiksirate orientacijo obrazov in teles.
Upravljanje doslednosti osvetlitve in barvne obdelave
Osvetlitev je najbolj subtilen, a ključen vidik kontinuitete. Če se položaj ali jakost svetlobnega vira med posnetki spremeni, se premaknejo sence, zaradi česar zaporedje deluje kot dva različna filma. V glavnem opisu določite svojo nastavitev osvetlitve. Navedite primarni svetlobni vir (npr. "ena nadstropna fluorescenčna cev, hladno bela, 4000K"), smer senc in ambientalno izravnalno svetlobo. V vsak poziv vključite navodila za barvno obdelavo. Če je vaša pripoved noir, navedite "visok kontrast, desaturirana paleta, turkizni in oranžni toni senc". Če je svetla in vesela, navedite "mehka razpršena dnevna svetloba, tople poudarki, nizek kontrast". Ti parametri barvne obdelave morajo ostati nespremenjeni v vseh posnetkih prizora. Če želite spremembo osvetlitve zaradi pripovednega učinka, naj bo to premišljen, v pozivu določen prehod, ne naključno odstopanje.
Povezovanje posnetkov: uporaba končnih sličic kot začetnih sličic
Najučinkovitejša tehnika za ohranjanje kontinuitete med posnetki je povezovanje. Pri ustvarjanju zaporedja izvlecite zadnjo sličico Posnetka 1 in jo uporabite kot začetno sličico ali referenčno sliko za Posnetek 2. To prisili model, da začne generiranje od točno določenega vizualnega stanja, kjer se je prejšnji posnetek končal. Tudi če se besedilo poziva za novo dejanje nekoliko razlikuje, vizualno sidro začetne sličice zaklene videz lika, osvetlitev in položaj kamere. Ta metoda je boljša od zanašanja izključno na tekstovne pozive za kontinuiteto, saj obide verjetnostno interpretacijo identifikacijskih opisov s strani modela. Če vaše orodje podpira pretvorbo slike v video ali interpolacijo ključnih sličic, to uporabite. Če ne, uporabite končno sličico kot stilsko referenco ali omejitev za izpolnjevanje, da zagotovite, da začetek naslednjega posnetka ustreza koncu prejšnjega.
Pogoste napake: prekomerno določanje gibanja v nasprotju s premalo določanjem konteksta
Ustvarjalci pogosto padejo v dve skrajni pasti. Prva je prekomerno določanje gibanja. Če opišete vsak mikro premik telesa – "ona utripa, prestavlja težo, lasje ji vihajo v vetru" – je model preobremenjen in lahko ignorira osnovno dejanje ali ustvari fizično nemogoče rezultate. Opiše gibanja naj bodo na visoki ravni in kinetična: "hodi naprej", "obrne glavo", "dvigne roko". Prepustite modelu, da obravnava mikro-mehaniko.
Drugi je premalo določanje konteksta. Če se zanašate na model, da iz nejasnega poziva sklepa na identiteto lika ali osvetlitev prizora, izgubite nadzor. Ne morete predpostavljati, da si bo model zapomnil lika iz prejšnjega posnetka, če ne ponovite vizualnega sidra. Ne morete predpostavljati, da bo osvetlitev ostala dosledna, če je eksplicitno ne omejite. Pravilo je preprosto: z izjemno natančnostjo določite nespremenljive elemente (identiteto, osvetlitev, položaj kamere), spremenljive elemente (gibanje, dejanje) pa na visoki ravni jedrnato.