Kaip formuluoti užklausas AI naratyviniam vaizdo tęstinumui

Naratyvą išlaikote nustatydami griežtą vizualinį inkarą veikėjams ir aplinkai, tada griežtai kontroliuodami kameros padėtį bei apšvietimo parametrus kiekvienoje atskiroje ištraukoje. Laikiškasis nuoseklumas generatyviajame vaizde pasiekiamas ne tikintis, kad modelis supras jūsų istoriją; jis pasiekiamas laikant kiekvieną vaizdo ištrauką atskiru, iš anksto apibrėžtos statiškos vizualinės būsenos atvaizdavimu.

Laikiškojo tęstinumo praradimo problema generatyviajame vaizde

Generatyvieji vaizdo modeliai veikia numatydami kadrus pagal užklausą ir ribotą konteksto langą. Jie neturi nuolatinės atminties apie tai, kaip jūsų veikėjas atrodė ankstesnėje ištraukoje. Jei sugeneruojate penkių sekundžių ištrauką, kurioje moteris eina gatve, o tada sugeneruojate antrą penkių sekundžių ištrauką, kurioje ji apsuka galvą, modelis antrąją užklausą traktuoja kaip naują, izoliuotą instrukciją. Be aiškių apribojimų jis greičiausiai pakeis jos veido bruožus, plaukų spalvą, drabužių tekstūrą ar net ūgį. Šis reiškinys vadinamas laikiškuoju tęstinumo praradimu. Modelis optimizuoja tikėtinumą esamos užklausos ribose, o ne atitikimą bendrai naratyvinei tapatybei. Norint tai išspręsti, reikia atsisakyti natūralios kalbos aprašymų, leidžiančių interpretaciją, ir pereiti prie griežtų, deklaratyvių specifikacijų, kurios nepalieka vietos variacijoms.

Vizualinio inkaro apibrėžimas: veikėjo ir aplinkos aprašymų fiksavimas

Prieš generuojant bet kokį judesį, būtina absoliučiu tikslumu apibrėžti subjektų ir aplinkos vizualinę tapatybę. Sukurkite pagrindinį kiekvieno veikėjo aprašymą. Šis aprašymas turi apimti nekintamus atributus: amžių, etniškumą, specifinius veido bruožus (pvz., „ryški žandikaulio linija, nedidelė randas kairėje antakyje“), plaukų šukuoseną ir spalvą bei drabužių detales iki pat rašto ir kirpimo. Nenaudokite miglotų terminų, tokių kaip „šaunus apranga“ ar „paslaptinga moteris“. Vietoj to nurodykite: „dėvi anglies pilkumo vilnonį paltą, užsegta iki kaklo, su raudonu šilko šalčiu“. Parašykite šį aprašymą vieną kartą ir įklijuokite jį į kiekvieną užklausą, susijusią su tuo veikėju.

Aplinkoms taikykite tą patį principą. Apibrėžkite vietą erdviniais ir tekstūriniais pastoviais dydžiais. Jei scena yra biblioteka, nurodykite lentynų medienos rūšį, kilimo spalvą ir pagrindinio šviesos šaltinio padėtį. Šie aprašymai sudaro jūsų vizualinį inkarą. Tai yra statiškas pagrindas, ant kurio kuriama visa judesio dinamika. Jei tarp klipų pakeisite aprašymą, sutrikdysite tęstinumą. Jei praleisite aprašymą, modelis užpildys spragą savo statistiniu vidurkiu, kuris skirsis nuo ankstesnio klipo.

Kamera judesio ir erdvinių ryšių nurodymai

Kameros kalba yra ta sritis, kurioje dažniausiai kyla naratyvo sutrikimų. Modeliai dažnai dviprasmiškai interpretuoja „kamera seka“ arba „panoramuoja į dešinę“, todėl atsiranda staigūs perspektyvos ar orientacijos pokyčiai. Būtina aiškiai apibrėžti kameros padėtį, orientaciją ir judesio vektorių. Vietoj „kamera juda kartu su veikėju“ nurodykite „fiksuotas vidutinis planas, akių lygyje, kamera fiksuota A pozicijoje, veikėjas juda iš kairės į dešinę per kadro plotį“. Jei reikia judančio kadro, apibrėžkite trajektoriją: „stumtelėkite priekin lėtai, išlaikydami akių lygį, sekite veikėjo nugarą“.

Erdviniai ryšiai turi būti fiksuoti kameros atžvilgiu, o ne tik tarpusavyje. Jei veikėjas A žiūri į veikėją B, nurodykite jų tarpusavio padėtis ir orientacijas. „Veikėjas A stovi kairiajame kadro trečdalyje, žiūri į dešinę. Veikėjas B stovi dešiniajame trečdalyje, žiūri į kairę. Jie yra dviejų metrų atstumu vienas nuo kito.“ Šis geometrinis fiksavimas neleidžia modeliui sukeisti pozicijų ar keisti sąveikos kampo tarp kadrų. Naudokite terminus „profilinis vaizdas“, „trių ketvirčių vaizdas“ ir „tiesioginis priekinis vaizdas“, kad fiksuotumėte veidų ir kūnų orientaciją.

Apšvietimo ir spalvų korekcijos nuoseklumo valdymas

Apšvietimas – subtiliausias, tačiau kritinis tęstinumo aspektas. Jei šviesos šaltinio padėtis arba intensyvumas tarp klipų keičiasi, šešėliai pasislinks, todėl seka atrodys kaip du skirtingi filmai. Apšvietimo konfigūraciją apibrėžkite pagrindiniame aprašyme. Nurodykite pagrindinį šviesos šaltinį (pvz., „vienas lubinis fluorescencinis vamzdis, šalta balta, 4000K“), šešėlių kryptį ir aplinkos užpildo šviesą. Į kiekvieną užklausą įtraukite spalvų korekcijos instrukcijas. Jei naratyvas yra noir stiliaus, nurodykite „aukštas kontrastas, desaturuota paletė, žalsvai oranžiniai šešėlių tonai“. Jei jis šviesus ir linksmas, nurodykite „švelni išsklapyta dienos šviesa, šilti aukšti tonai, žemas kontrastas“. Šie korekcijos parametrai turi išlikti pastovūs visuose scenos klipuose. Jei norite apšvietimo pokyčio dėl naratyvinio efekto, padarykite jį sąmoningą, užklausą atitinkantį perėjimą, o ne atsitiktinį nuokrypį.

Klipų grandinėjimas: paskutinių kadrų naudojimas kaip pradinių kadrų

Efektyviausia technika tęstinumui tarp klipų išlaikyti yra grandinėjimas. Generuojant seką, ištraukite 1 klipo paskutinį kadrą ir naudokite jį kaip 2 klipo pradinį kadrą arba atskaitos vaizdą. Tai priverčia modelį pradėti generavimą nuo tikslios vizualios būsenos, kurioje baigėsi ankstesnis klipas. Net jei užklausos tekstas naujam veiksmui šiek tiek skiriasi, pradinio kadro vizualinis inkaras fiksuoja veikėjo išvaizdą, apšvietimą ir kameros padėtį. Šis metodas yra pranašesnis už vien tik tekstinių užklausų naudojimą tęstinumui, nes jis apeina modelio tikimybinį tapatybės aprašymų interpretavimą. Jei jūsų įrankis palaiko vaizdo į vaizdą generavimą arba tarpinių kadrų interpoliaciją, naudokite tai. Jei nepalaiko, naudokite paskutinį kadrą kaip stiliaus atskaitos tašką arba inpainting apribojimą, kad užtikrintumėte, jog kito klipo pradžia atitiktų ankstesnio klipo pabaigą.

Dažnos klaidos: per daug specifikuotas judesys prieš nepakankamai specifikuotą kontekstą

Kūrėjai dažnai pakliūna į dvi ekstremalias spąstus. Pirmoji – per daug specifikuotas judesys. Jei aprašysite kiekvieną kūno mikrojudesį – „ji mirksi, ji perkelia svorį, jos plaukai banguoja vėjyje“, – modelis bus perkrautas ir gali ignoruoti pagrindinį veiksmą arba sugeneruoti fiziškai neįmanomus rezultatus. Judesio aprašymus laikykite aukšto lygio ir kinetinius: „eina pirmyn“, „pasuka galvą“, „pakelia ranką“. Leiskite modeliui tvarkyti mikro mechaniką.

Antra klaida – nepakankamas konteksto nurodymas. Jei pasitikite modeliu, kad jis iš neaiškaus užklausimo išvestų veikėjo tapatybę arba scenos apšvietimą, prarandate kontrolę. Negalite manyti, kad modelis prisimins veikėją iš ankstesnio klipo, jei nepakartojate vizualinio inkaro. Negalite manyti, kad apšvietimas išliks vienodas, jei jo aiškiai neapibrėžiate. Taisyklė paprasta: nepakeičiamus elementus (tapatybę, apšvietimą, kameros padėtį) nurodykite itin detaliai, o kintamuosius (judesį, veiksmą) – glaustai, aukšto lygio formuliruotėmis.