Te hoiate jutustuse sidusust, luues tegelastele ja keskkondadele range visuaalse ankrupunkti ning seejärel rangelt kontrollides kaamera asendit ja valgustusparameetreid iga üksiku lõigu puhul. Ajaline järjepidevus generatiivses videos ei saavutata lootusega, et mudel mõistab teie lugu; see saavutatakse, käsitledes iga videolõiku staatilise, eelnevalt määratletud visuaalse oleku eraldiseisva renderdusena.
Ajaline katkendlikkus generatiivses videos
Generatiivsed mudelid töötavad, ennustades kaadreid juhise ja piiratud kontekstiakna põhjal. Neil ei ole püsivat mälu selle kohta, milline oli teie tegelane eelmises lõigus. Kui loite viie sekundi pikkuse lõigu naisest, kes kõnnib tänaval, ja seejärel teise viie sekundi pikkuse lõigu, kus ta pöörab ümber, käsitleb mudel teist juhist uue, isoleeritud juhendina. Ilma selgete piiranguteta muudab ta tõenäoliselt tema näojooni, juuksevärvi, riiete tekstuuri või isegi pikkust. Seda nähtust nimetatakse ajaliseks katkendlikkuseks. Mudel optimeerib usutavust praeguse juhise piires, mitte truudust globaalsele jutustuse identiteedile. Selle lahendamiseks tuleb loobuda loomuliku keele kirjeldustest, mis lubavad tõlgendamist, ning liikuda rangelt deklareerivate spetsifikatsioonide juurde, mis ei jäta ruumi variatsioonidele.
Visuaalse ankrupunkti määramine: tegelaste ja keskkonna kirjeldajate lukustamine
Enne liikumise loomist tuleb defineerida oma subjektide ja tausta visuaalne identiteet absoluutse täpsusega. Looge iga tegelase jaoks master-kirjeldaja. See kirjeldaja peaks sisaldama muutumatuid omadusi: vanus, etniline päritolu, konkreetsed näojooned (nt „tugev lõuajoon, väike arm vasakul kulmu kohal”), juuste stiil ja värv ning rõiva detailsed, kuni mustrini ja lõikeni. Ärge kasutage häguseid termineid nagu „lahe riietus” või „müstiline naine”. Selle asemel täpsustage: „kandab sömhallist villast mantlit, nööbitud kaelani, punase siidse salliga”. Kirjutage see kirjeldaja üks kord ja kopeerige-kleepige see iga juhise juurde, mis seda tegelast puudutab.
Keskkondade puhul toimige samamoodi. Määratlege asukoht ruumiliste ja tekstuursete konstantide abil. Kui stseeniks on raamatukogu, täpsustage riiulitel oleva puidu tüüp, vaiba värvus ja peamise valgusallika asend. Need kirjeldused moodustavad teie visuaalse ankurpunkti. Need on staatiline alus, millele kogu liikumine on üles ehitatud. Kui muudate kirjeldust klippide vahel, rikute järjepidevuse. Kui jäte kirjelduse vahele, täidab mudel lünka oma statistilise keskmisega, mis erineb teie eelmisest klipist.
Kaamera liikumise ja ruumiliste suhete juhendamine
Kaamerakeel on koht, kus enamik jutustusi laguneb. Mudelid tõlgendavad sageli „kaamera järgneb“ või „panoraam paremale“ mitmetähenduslikult, mis viib järskude hüpeteni perspektiivis või orientatsioonis. Peate selgelt määratlema kaamera asukoha, orientatsiooni ja liikumisvektori. Selle asemel, et öelda „kaamera liigub koos tegelasega“, täpsustage „statsionaarne keskkader, silmade kõrgusel, kaamera fikseeritud asukohta A, tegelane liigub raamis vasakult paremale“. Kui vajate liikuvat kaadrit, määratlege tee: „dolly edasi aeglaselt, hoides silmade kõrgust, jälgides tegelase selga.“
Ruumilised suhted tuleb lukustada kaamera suhtes, mitte ainult üksteise suhtes. Kui Tegelane A on suunatud Tegelase B poole, täpsustage nende suhtelised asukohad ja orientatsioonid. „Tegelane A seisab raami vasakus kolmandikus, vaadates paremale. Tegelane B seisab paremas kolmandikus, vaadates vasakule. Nad on kahe meetri kaugusel.“ See geomeetriline lukustamine takistab mudelil positsioone vahetamast või suhtlemisnurka kaadrite vahel muutmast. Kasutage termineid nagu „profiilvaade“, „kolmveerandvaade“ ja „otsene esivaade“, et fikseerida nägude ja kehade orientatsioon.
Valgustuse ja värvigradeerimise järjepidevuse haldamine
Valgustus on järjepidevuse kõige peenem, kuid kriitilisem aspekt. Kui valgusallika asend või intensiivsus muutub klippide vahel, nihkuvad varjud, mistõttu võib järjestus mõjuda nagu kaks erinevat filmi. Määratlege oma valgustusskeem põhikirjelduses. Täpsustage peamine valgusallikas (nt „üks ülemine päevavalgustoru, jahedavalge, 4000K”), varjude suund ja hajutatud täiendvalgus. Lisage igale küsimusele värvigradeerimise juhised. Kui teie jutustus on noir-stiilis, täpsustage „terav kontrast, desatureeritud palett, türkiis-oranžid varjutoonid”. Kui see on hele ja rõõmsameelne, täpsustage „pehme hajutatud päevavalgus, soojad kõrged toonid, madal kontrast”. Need gradeerimisparameetrid peavad jääma samaks kõigi stseeni klippide juures. Kui soovite valgustusmuutust jutustuse efekti saavutamiseks, tehke sellest tahtlik, etteantud üleminek, mitte juhuslik nihe.
Klippide aheldamine: lõppkaadrite kasutamine algkaadritena
Kõige tõhusam tehnika järjepidevuse säilitamiseks klippide vahel on aheldamine. Järjestuse genereerimisel eraldage Klip 1 viimane kaader ja kasutage seda Klip 2 algkaadrina või referentspildina. See sunnib mudelit alustama genereerimist täpselt sellest visuaalsest olekust, kus eelmine klipp lõppes. Isegi kui tekst küsimuses uue tegevuse jaoks veidi varieerub, lukustab algkaadri visuaalne ankur karakteri välimuse, valgustuse ja kaamera asendi. See meetod on parem kui järjepidevuse saavutamine ainult tekstiküsimuste kaudu, kuna see väldib mudeli probabilistlikku tõlgendust identiteedikirjeldustest. Kui teie tööriist toetab pildist-video või võtmekaadrite interpoleerimist, kasutage seda. Kui mitte, kasutage lõppkaadrit stiilireferentsina või inpainting’u piiranguna, et tagada järgmise klipi alguse vastamine eelmise klipi lõpule.
Tavalised vead: liikumise ülekirjeldamine vs konteksti alakirjeldamine
Loojad langevad sageli kahte äärmuslikku lõksu. Esimene on liikumise ülekirjeldamine. Kui kirjeldate iga keha mikroliigutust – „ta pilgutab silmi, ta nihutab raskuskeset, tema juuksed hõljuvad tuules”, – saab mudel üle koormatud ja võib ignoreerida põhilist tegevust või genereerida füüsikaliselt võimatuid tulemusi. Hoidke liikumiskirjeldused üldisemad ja kineetilised: „kõnnib edasi”, „pöörab pead”, „tõstab käe”. Laske mudelil tegeleda mikro-mehaanikaga.
Teine viga on konteksti ebapiisav täpsustamine. Kui loodate mudelil, et ta järeldab tegelase identiteeti või stseeni valgustuse hägusast juhendist, loobute kontrollist. Ei saa eeldada, et mudel mäletab tegelast eelmisest klipist, kui te visuaalset ankrut uuesti ei esita. Ei saa eeldada, et valgustus jääb järjepidevaks, kui te seda selgesõnaliselt ei piira. Reegel on lihtne: täpsustage muutumatud omadused (identiteet, valgustus, kaamera asend) äärmiselt detailselt ning muutuvad omadused (liikumine, tegevus) kõrgtasemel lühidalt.