Vydržujete narativní soudržnost tím, že vytvoříte pevný vizuální kotvící bod pro postavy a prostředí, a poté přísně kontrolujete parametry pozice kamery a osvětlení v každém jednotlivém klipu. Časová konzistence v generativním videu není dosažena tím, že doufáte, že model pochopí váš příběh; je dosaženo tím, že každý video klip považujete za diskrétní vykreslení statického, předem definovaného vizuálního stavu.
Problém časové diskontinuity v generativním videu
Generativní video modely fungují tak, že předpovídají snímky na základě promptu a omezeného kontextového okna. Nemají trvalou paměť na to, jak vypadala vaše postava v předchozím klipu. Pokud vygenerujete pětifotový klip ženy kráčející po ulici a poté vygenerujete druhý pětifotový klip, kde se otáčí, model považuje druhý prompt za nový, izolovaný příkaz. Bez explicitních omezení pravděpodobně změní její rysy obličeje, barvu vlasů, texturu oblečení nebo dokonce její výšku. Tento jev se nazývá časová diskontinuita. Model optimalizuje pro věrohodnost v rámci aktuálního promptu, nikoliv pro věrnost globální identitě příběhu. Aby toto vyřešil, musíte se odklonit od popisů přirozeným jazykem, které umožňují interpretaci, a směrem k rigidním, deklarativním specifikacím, které nezanechávají prostor pro variace.
Definice vizuálního kotvícího bodu: uzamčení deskriptorů postav a prostředí
Než začnete generovat pohyb, musíte s absolutní přesností definovat vizuální identitu svých subjektů a prostředí. Vytvořte hlavní deskriptor pro každou postavu. Tento deskriptor by měl obsahovat neměnné atributy: věk, etnicitu, specifické rysy obličeje (např. "silná čelist, mírná jizva na levém obočí"), styl a barvu vlasů a detaily oblečení až po vzor a střih. Nepoužívejte vágní pojmy jako "cool outfit" nebo "mysterious woman". Místo toho specifikujte "wearing a charcoal grey wool coat, buttoned to the neck, with a red silk scarf." Tento deskriptor napište jednou a zkopírujte ho do každého promptu, který se této postavy týká.
For prostředí postupujte stejně. Definujte místo pomocí prostorových a texturových konstant. Pokud je scénou knihovna, upřesněte typ dřeva na policích, barvu koberce a polohu hlavního světelného zdroje. Tyto deskriptory tvoří váš vizuální kotvící bod. Jsou statickým základem, na němž je postaven veškerý pohyb. Pokud mezi klipy změníte deskriptor, narušíte kontinuitu. Pokud deskriptor vynecháte, model doplní mezeru svým statistickým průměrem, který se bude lišit od předchozího klipu.
Nastavování pohybu kamery a prostorových vztahů
Jazyk kamery je místem, kde dochází k většině narušení narativu. Modely často interpretují „kamera sleduje“ nebo „panoramovat doprava“ nejednoznačně, což vede k náhlým skokům v perspektivě nebo orientaci. Musíte explicitně definovat pozici, orientaci a vektor pohybu kamery. Místo „kamera se pohybuje s postavou“ specifikujte „statický střední záběr, úroveň očí, kamera fixována na pozici A, postava se pohybuje zleva doprava přes rámec“. Pokud vyžadujete pohybující se záběr, definujte dráhu: „pomalý dolly vpřed, udržovat úroveň očí, sledovat záda postavy“.
Prostorové vztahy musí být uzamčeny relativně ke kameře, nikoli pouze navzájem. Pokud Postava A hledí na Postavu B, specifikujte jejich relativní pozice a orientace. „Postava A stojí v levé třetině rámce, hledí doprava. Postava B stojí v pravé třetině, hledí doleva. Jsou od sebe dva metry.“ Toto geometrické uzamčení zabraňuje modelu v prohození pozic nebo změně úhlu interakce mezi záběry. Používejte termíny jako „profilový pohled“, „tříčtvrtkový pohled“ a „přímý čelní pohled“ k fixaci orientace obličejů a těl.
Správa konzistence osvětlení a barevného tónování
Osvětlení je nejsubtilnější, ale zároveň nejdůležitější aspekt kontinuity. Pokud se zdroj světla mezi záběry změní svou polohou nebo intenzitou, posunou se stíny a sekvence bude působit jako dva různé filmy. Definujte své osvětlení v hlavním popisu. Uveďte hlavní zdroj světla (např. „jedna stropní zářivka, chladná bílá, 4000K“), směr stínů a okolní výplňové světlo. Do každého promptu zahrňte pokyny pro barevné tónování. Pokud je vaše vyprávění ve stylu noir, zadejte „vysoký kontrast, desaturovaná paleta, tyrkysové a oranžové tóny stínů“. Pokud je jasné a veselí, zadejte „měkké rozptýlené denní světlo, teplé světla, nízký kontrast“. Tyto parametry tónování musí zůstat konstantní ve všech záběrech scény. Pokud chcete změnu osvětlení pro narativní efekt, proveďte ji jako záměrný, promptem řízený přechod, nikoliv jako náhodný posun.
Řetězení klipů: použití koncových snímků jako počátečních snímků
Nejúčinnější technikou pro udržení kontinuity mezi klipy je řetězení. Při generování sekvence extrahujte poslední snímek Klipu 1 a použijte jej jako počáteční snímek nebo referenční obrázek pro Klip 2. To nutí model začít generování přesně od vizuálního stavu, kde předchozí klip skončil. I když se text promptu pro novou akci mírně liší, vizuální kotva počátečního snímku uzamkne vzhled postavy, osvětlení a pozici kamery. Tato metoda je lepší než spoléhání pouze na textové prompty pro kontinuitu, protože obchází pravděpodobnostní interpretaci identifikátorů modelu. Pokud váš nástroj podporuje generování videa z obrázku nebo interpolaci klíčových snímků, využijte to. Pokud ne, použijte koncový snímek jako referenci stylu nebo omezení pro inpainting, aby začátek dalšího klipu odpovídal konci toho předchozího.
Běžné chyby: nadměrná specifikace pohybu vs. nedostatečná specifikace kontextu
Tvůrci často upadají do dvou extrémních pastí. První je nadměrná specifikace pohybu. Pokud popíšete každý mikro-pohyb těla – „ona mrkne, přenesе váhu, vlasy jí vlají ve větru“ – model bude přetížen a může ignorovat hlavní akci nebo vygenerovat fyzikálně nemožné výsledky. Držte popisy pohybu na vysoké úrovni a kinetické: „kráčí vpřed“, „otáčí hlavu“, „zvedá ruku“. Nechte model řešit mikro-mechaniku.
Druhým problémem je nedostatečné zadání kontextu. Pokud se spoléháte na to, že model odvodí identitu postavy nebo osvětlení scény z vágního promptu, ztrácíte kontrolu. Nemůžete předpokládat, že si model zapamatuje postavu z předchozího klipu, pokud znovu neuvedete vizuální kotvu. Nemůžete předpokládat, že osvětlení zůstane konzistentní, pokud ho výslovně neomezníte. Pravidlo je jednoduché: s maximální přesností specifikujte neměnné prvky (identita, osvětlení, pozice kamery) a proměnné prvky (pohyb, akce) stručně na vyšší úrovni.