Si të jepni udhëzime për AI për vazhdimësinë e videos narrative

Ju ruani koherencën rrëfimore duke vendosur një spirancë vizuale të ngurtë për personazhet dhe mjediset, duke kontrolluar më pas rreptësisht pozicionin e kamerës dhe parametrat e ndriçimit për çdo klip individual. Qëndrueshmëria kohore në videon gjeneruese nuk arrihet duke shpresuar që modeli të kuptojë rrëfimin tuaj; ajo arrihet duke trajtuar çdo klip video si një renderim të veçantë të një gjendjeje vizuale statike, të përcaktuar paraprakisht.

Problemi i discontinuitetit kohor në videot gjeneruese

Modelet gjeneruese të videos veprojnë duke parashikuar kornizat bazuar në një prompt dhe një dritare kufizuar konteksti. Ato nuk posedojnë një kujtesë të qëndrueshme për identitetin e personazhit tuaj në klipin e mëparshëm. Nëse gjeneroni një klip pesë-sekondësh të një gruaje që ecën në rrugë, dhe më pas gjeneroni një klip të dytë pesë-sekondësh të saj duke u kthyer, modeli e trajton promptin e dytë si një udhëzim të ri dhe të izoluar. Pa kufizime të shprehura qartë, ai do të ndryshojë vështirësisht tiparet e saj fytyrësore, ngjyrën e flokëve, teksturën e veshjes ose edhe gjatësinë. Ky fenomen quhet discontinuitet kohor. Modeli optimizon për besueshmëri brenda promptit aktual, jo për besnikëri ndaj një identiteti narrativ global. Për ta zgjidhur këtë, duhet të largoheni nga përshkrimet në gjuhën natyrale që lejojnë interpretim, dhe të kaloni te specifikime rigoroze, deklarative që nuk lënë hapësirë për variacion.

Përcaktimi i spirancës vizuale: fiksimi i përshkruesve të personazhit dhe mjedisit

Para të gjeneroni çfarëdo lëvizjeje, duhet të përcaktoni identitetin vizual të subjekteve dhe të mjedisit tuaj me saktësi absolute. Krijoni një përshkrues kryesor për çdo personazh. Ky përshkrues duhet të përfshijë atribute të pandryshueshme: mosha, etnia, tiparet specifike të fytyrës (p.sh., "nofal i fortë, shenjë e lehtë në vetullën e majtë"), stili dhe ngjyra e flokëve, si dhe detajet e veshjes deri te modeli dhe prerja. Mos përdorni terma të paqartë si "veshje interesante" ose "grua misterioze". Në vend të kësaj, specifikoni "duke veshur një pallto leshi gri qymyr, e mbyllur me butona deri në qafë, me një shallë mëndafshi të kuqe." Shkruani këtë përshkrues një herë dhe kopjojeni atë në çdo prompt që përfshin atë personazh.

Për mjediset, bëni të njëjtën gjë. Përcaktoni lokacionin me konstante hapësinore dhe teksturore. Nëse skena është një bibliotekë, specifikoni llojin e drurit në raftet, ngjyrën e qilimit dhe pozicionin e burimit kryesor të dritës. Këto përshkrues formojnë spirancën tuaj vizuale. Ata janë themeli statik mbi të cilin ndërtohet e gjithë lëvizja. Nëse ndryshoni një përshkrues midis klipave, ju thyeni vazhdimësinë. Nëse neglizhoni një përshkrues, modeli do ta plotësojë hapësirën me mesataren e tij statistike, e cila do të ndryshojë nga klipi juaj i mëparshëm.

Formësimi i lëvizjes së kamerës dhe marrëdhënieve hapësinore

Gjuha e kamerës është ajo ku ndodhin shumica e ndërprerjeve narrative. Modelet shpesh interpretojnë "kamera ndjek" ose "wenj në të djathtë" në mënyrë të paqartë, duke çuar në kërcime të papritura në perspektivë ose orientim. Ju duhet të përcaktoni në mënyrë të qartë pozicionin, orientimin dhe vektorin e lëvizjes së kamerës. Në vend që të thoni "kamera lëviz me personazhin", specifikoni "plan mesatar statik, në nivelin e syve, kamera e fiksuar në pozicionin A, personazhi lëviz nga e majta në të djathtë nëpër kuadër". Nëse kërkoni një plan lëvizës, përcaktoni rrugën: "dolly përpara ngadalë, duke ruajtur nivelin e syve, duke ndjekur shpinën e personazhit".

Marrëdhëniet hapësinore duhet të jenë të fiksuara në lidhje me kamerën, jo vetmes me njëra-tjetrën. Nëse Personazhi A është përballë Personazhit B, specifikoni pozicionet dhe orientimet e tyre relative. "Personazhi A qëndron në të tretën e majtë të kuadrit, duke parë në të djathtë. Personazhi B qëndron në të tretën e djathtë, duke parë në të majtë. Ata janë dy metra larg njëri-tjetrit." Ky fiksim gjeometrik parandalon që modeli të shkëmbejë pozicionet ose të ndryshojë këndin e ndërveprimit midis planëve. Përdorni terma si "profil", "tre-katërshe" dhe "frontal i drejtpërdrejtë" për të fiksuar orientimin e fytyrave dhe trupave.

Menaxhimi i konsistencës së ndriçimit dhe korrigjimit të ngjyrave

Ndriçimi është aspekti më i hollë por kritik i vazhdimësisë. Nëse burimi i dritës ndryshon pozicion ose intensitet midis klipëve, hijet do të zhvendosen, duke bërë që sekuenca të duket si dy filma të ndryshëm. Përcaktoni konfigurimin e ndriçimit në përshkruesin kryesor. Specifikoni burimin kryesor të dritës (p.sh., "tub fluorescent i vetëm në tavan, e ftohtë e bardhë, 4000K"), drejtimin e hijeve dhe dritën mbushëse mjedisore. Përfshini udhëzime për balancimin e ngjyrave në çdo prompt. Nëse narrativja juaj është noir, specifikoni "kontrast i mprehtë, paletë e zbehur, tone hijesh teal dhe portokalli". Nëse është e ndritshme dhe e gëzueshme, specifikoni "dritë dite të butë të shpërndarë, theksime të ngrohta, kontrast të ulët". Këto parametra të balancimit të ngjyrave duhet të mbeten konstante në të gjithë klipët e një scene. Nëse dëshironi një ndryshim ndriçimi për efekt narrativ, bëjeni atë një tranzicion të qëllimshëm të përshkruar, jo një rrëshqitje aksidentale.

Lidhja e klipëve: përdorimi i kuadrove fundore si kuadro fillestare

Teknika më efektive për të ruajtur vazhdimësinë midis klipëve është lidhja (chaining). Kur gjeneroni një sekuencë, ekstrahoni kuadron e fundit të Klipit 1 dhe përdoreni atë si kuadro fillestare ose imazh referencë për Klipin 2. Kjo e detyron modelin të fillojë gjenerimin nga gjendja e saktë vizuale ku mbaroi klipi i mëparshëm. Edhe nëse teksti i prompt-it ndryshon pak për veprimin e ri, spiranca vizuale e kuadros fillestare fikson pamjen e personazhit, ndriçimin dhe pozicionin e kamerës. Kjo metodë është superiore ndaj mbështetjes vetëm në prompt-et tekstualë për vazhdimësi, pasi anashkalon interpretimin probabilistik të përshkruesve të identitetit nga modeli. Nëse mjeti juaj mbështet image-to-video ose interpolim keyframe, përdoreni. Nëse nuk e mbështet, përdorni kuadron fundore si referencë stili ose kufizim inpainting për të siguruar që fillimi i klipit tjetër të përputhet me fundin e atij të mëparshmit.

Gabimet e zakonshme: specifikim i tepërt i lëvizjes kundrejt specifikimit të pamjaftueshëm të kontekstit

Krijuesit shpesh bien në dy kurthe ekstreme. E para është specifikimi i tepërt i lëvizjes. Nëse përshkruani çdo mikro-lëvizje të trupit – "ajo bën blink, ajo zhvendos peshën, flokët e saj lëkunden në erë" – modeli bëhet i ngarkuar dhe mund të injorojë veprimin bazë ose të gjenerojë rezultate fizikisht të pamundura. Mbani përshkrimet e lëvizjes në nivel të lartë dhe kinetik: "ec përpara", "kthen kokën", "ngre krahun". Lëreni modelin të trajtojë mikro-mekanikat.

E dyta është nënpërcaktimi i kontekstit. Nëse mbështeteni te modeli për të nxjerrë identitetin e personazhit ose ndriçimin e skenës nga një kërkesë e paqartë, ju humbni kontrollin. Nuk mund të supozoni se modeli do ta mbajë mend personazhin nga klipi i mëparshëm nëse nuk e ripërsëritni shtegtimin vizual. Nuk mund të supozoni se ndriçimi do të mbetet konsistent nëse nuk e kufizoni atë në mënyrë të shprehur. Rregulli është i thjeshtë: përcaktoni të pandryshueshmen (identiteti, ndriçimi, pozicioni i kamerës) me detaje ekstreme, dhe përcaktoni të ndryshueshmen (lëvizja, veprimi) me shkurtësi të nivelit të lartë.