Naratívnu koherenciu udržiavate vytvorením pevného vizuálneho kotviča pre postavy a prostredie, následným prísным riadením polohy kamery a parametrov osvetlenia v každom jednotlivom klipe. Časová konzistencia v generatívnom videu sa nedosahuje nádejou, že model pochopí váš príbeh; dosahuje sa tým, že každý videoklip považujete za samostatné vykreslenie statického, vopred definovaného vizuálneho stavu.
Problém časovej diskontinuity v generatívnom videu
Generatívne modely pracujú predpovedaním snímok na základe promptu a obmedzeného kontextového okna. Nemajú trvalú pamäť na to, ako vyzerala vaša postava v predchádzajúcom klipe. Ak vygenerujete päťsekundový klip ženy kráčajúcej po ulici a následne druhý päťsekundový klip, kde sa otáča, model považuje druhý prompt za nový, izolovaný príkaz. Bez explicitných obmedzení pravdepodobne zmení jej črty tváre, farbu vlasov, textúru oblečenia alebo dokonca výšku. Tento jav sa nazýva časová diskontinuita. Model optimalizuje pravdepodobnosť v rámci aktuálneho promptu, nie vernosť globálnej identite príbehu. Aby ste to vyriešili, musíte upustiť od opisov v prirodzenom jazyku, ktoré umožňujú interpretáciu, a smerovať k pevným, deklaratívnym špecifikáciám, ktoré nenechávajú priestor na variácie.
Definovanie vizuálneho kotviča: uzamknutie deskriptorov postavy a prostredia
Pred generovaním akéhokoľvek pohybu musíte s absolútnou presnosťou definovať vizuálnu identitu svojich subjektov a nastavenia. Vytvorte hlavný deskriptor pre každú postavu. Tento deskriptor by mal obsahovať nemenné atribúty: vek, etnickú príslušnosť, konkrétne črty tváre (napr. "silná čeľusť, mierna jazva na ľavom obočí"), účes a farbu vlasov a detaily oblečenia vrátane vzoru a strihu. Nepoužívajte nejasné pojmy ako "cool outfit" alebo "mysterious woman". Namiesto toho špecifikujte "wearing a charcoal grey wool coat, buttoned to the neck, with a red silk scarf". Tento deskriptor napíšte raz a skopírujte ho do každého promptu, ktorý sa týka danej postavy.
Pre prostredia postupujte rovnako. Definujte lokalitu pomocou priestorových a textúrových konštánt. Ak je scénou knižnica, špecifikujte typ dreva na policiach, farbu koberca a polohu hlavného zdroja svetla. Tieto popisovače tvoria váš vizuálny kotviaci bod. Sú statickým základom, na ktorom je postavený všetok pohyb. Ak medzi zábermi zmeníte popisovač, narušíte kontinuitu. Ak popisovač vynecháte, model doplní medzeru svojim štatistickým priemerom, ktorý sa bude líšiť od vášho predchádzajúceho záberu.
Promptovanie pohybu kamery a priestorových vzťahov
Jazyk kamery je miestom, kde dochádza k väčšine naratívnych rozpadov. Modely často interpretujú „kamera sleduje“ alebo „panoráma doprava“ nejednoznačne, čo vedie k náhlym skokom v perspektíve alebo orientácii. Musíte explicitne definovať polohu, orientáciu a vektor pohybu kamery. Namiesto „kamera sa pohybuje s postavou“ špecifikujte „statický stredný záber, úrovňou očí, kamera fixovaná na pozícii A, postava sa pohybuje zľava doprava cez rám“. Ak vyžadujete pohybujúci sa záber, definujte cestu: „dolly dopredu pomaly, udržiavajúc úrovňou očí, sledujúc chrbť postavy.“
Priestorové vzťahy musia byť uzamknuté vzhľadom na kameru, nie len navzájom. Ak sa postava A pozerá na postavu B, zadajte ich vzájomné pozície a orientácie. „Postava A stojí v ľavej tretine záberu, otočená doprava. Postava B stojí v pravej tretine, otočená doľava. Sú od seba vzdialené dva metre.“ Toto geometrické uzamknutie zabraňuje modelu v zámene pozícií alebo zmene uhla pohľadu medzi zábermi. Na fixáciu orientácie tvárí a tiel používajte pojmy ako „profilový pohľad“, „trištvrťový pohľad“ a „priamy čelný pohľad“.
Správa konzistencie osvetlenia a farebného ladenia
Osvetlenie je najjemnejší, no zároveň kritický aspekt kontinuity. Ak sa zdroj svetla medzi zábermi zmení podľa polohy alebo intenzity, tiene sa posunú a sekvencia bude pôsobiť ako dva rôzne filmy. Definujte svoje osvetlenie v hlavnom popise. Uveďte primárny zdroj svetla (napr. „jedna stropná žiarivka, studená biela, 4000K“), smer tieňov a okolité doplnkové svetlo. Do každého promptu zahrňte inštrukcie pre farebné spracovanie. Ak je vaša narrácia noir, zadajte „vysoký kontrast, desaturovaná paleta, tyrkysové a oranžové tóny tieňov“. Ak je jasná a veselá, zadajte „jemné rozptýlené denné svetlo, teplé svetlá, nízky kontrast“. Tieto parametre spracovania farieb musia zostať konštantné vo všetkých záberoch scény. Ak chcete zmenu osvetlenia pre narratívny efekt, urobte z nej zámerne naplánovaný prechod, nie náhodný posun.
Reťazenie záberov: použitie koncových snímok ako začiatočných
Najefektívnejšia technika na udržanie kontinuity medzi zábermi je reťazenie. Pri generovaní sekvencie extrahujte poslednú snímku Záberu 1 a použite ju ako začiatočnú snímku alebo referenčný obrázok pre Záber 2. To núti model začať generovanie od presného vizuálneho stavu, kde predchádzajúci záber skončil. Aj keď sa text promptu pre novú akciu mierne líši, vizuálna kotva začiatočnej snímky uzamkne vzhľad postavy, osvetlenie a pozíciu kamery. Táto metóda je lepšia ako spoliehanie sa iba na textové prompty pre kontinuitu, pretože obchádza probabilistickú interpretáciu identifikátorov modelu. Ak váš nástroj podporuje premenu obrázka na video alebo interpoláciu kľúčových snímok, využite to. Ak nie, použite koncovú snímku ako referenciu štýlu alebo obmedzenie pre inpainting, aby ste zaistili, že začiatok ďalšieho záberu zodpovedá koncu predchádzajúceho.
Časté chyby: nadmerné špecifikovanie pohybu vs. nedostatočné špecifikovanie kontextu
Tvorcovia často upadajú do dvoch extrémnych pascí. Prvou je nadmerné špecifikovanie pohybu. Ak popíšete každý mikro-pohyb tela – „ona žmurká, presúva váhu, jej vlasy sa hýbu vo vetre“ – model bude preťažený a môže ignorovať hlavnú akciu alebo generovať fyzikálne nemožné výsledky. Udržujte popisy pohybu na vysokej úrovni a kinetické: „kráča dopredu“, „otáča hlavu“, „zdvíha ruku“. Nechajte model riešiť mikro-mechaniku.
Druhým problémom je nedostatočné zadefinovanie kontextu. Ak sa spoliehate na to, že model odvodí identitu postavy alebo osvetlenie scény z nejasného promptu, strácajte kontrolu. Nemôžete predpokladať, že si model zapamätá postavu z predchádzajúceho záberu, ak znova nešpecifikujete vizuálny kotvír. Nemôžete predpokladať, že osvetlenie zostane konzistentné, ak ho výslovne neobmedzíte. Pravidlo je jednoduché: s maximálnou presnosťou zadefinujte nemenné prvky (identita, osvetlenie, pozícia kamery) a premenné prvky (pohyb, akcia) stručne na vysokej úrovni.