Вы падтрымліваеце паслядоўнасць апавядання, ствараючы жорсткі візуальны якар для персанажаў і асяроддзя, а затым строга кантралюючы параметры становішча камеры і асвятлення для кожнага асобнага кліпа. Часовая паслядоўнасць у генератыўным відэа дасягаецца не тым, што мадэль разумее вашу гісторыю, а тым, што кожны відэакліп разглядаецца як асобны рэндарынг статычнага, папярэдне вызначанага візуальнага стану.
Праблема часовай непаслядоўнасці ў генератыўным відэа
Генератыўныя відэамадэлі працуюць, прадказваючы кадры на аснове запыту і абмежаванага акна кантэксту. Яны не маюць пастаяннай памяці пра тое, кім быў ваш персанаж у папярэднім кліпе. Калі вы генеруеце пяцісекундны кліп жанчыны, якая ідзе па вуліцы, а затым генеруеце другі пяцісекундны кліп, дзе яна азіраецца, мадэль успрымае другі запыт як новую, ізаляваную інструкцыю. Без яўных абмежаванняў яна, хутчэй за ўсё, зменіць рысы яе твару, колер валасоў, фактуру адзення або нават рост. Гэта з'ява называецца часовай непаслядоўнасцю. Мадэль аптымізуе праўдападобнасць у межах бягучага запыту, а не вернасць глабальнай ідэнтычнасці апавядання. Каб вырашыць гэта, трэба адмовіцца ад апісанняў на натуральнай мове, якія дапускаюць інтэрпрэтацыю, і перайсці да жорсткіх, дэкларатыўных спецыфікацый, якія не пакідаюць месца для варыяцый.
Вызначэнне візуальнага якоря: фіксацыя дэскрыптараў персанажа і асяроддзя
Перш чым генераваць рух, вы павінны вызначыць візуальную ідэнтычнасць вашых суб'ектаў і асяроддзя з абсалютнай дакладнасцю. Стварыце майстар-дэскрыптар для кожнага персанажа. Гэты дэскрыптар павінен уключаць нязменныя атрыбуты: узрост, этнічнасць, канкрэтныя рысы твару (напрыклад, "моцная скроня, лёгкі шнар на левай брыве"), стыль і колер валасоў, а таксама дэталі адзення аж да ўзору і крою. Не выкарыстоўвайце размытыя тэрміны, такія як "круты касцюм" або "загадкавая жанчына". Замест гэтага ўкажыце "у шэра-вугальным ваўняным плашчы, зашпіленым да шыі, з чырвоным шаўковым шарфам". Напішыце гэты дэскрыптар адзін раз і скапіюйце яго ў кожны запыт, які тычыцца гэтага персанажа.
Для асяроддзяў зрабіце тое ж самае. Вызначце лакацыю праз прасторавыя і тэкстурныя канстанты. Калі сцэна — гэта бібліятэка, удакладніце гатунак дрэва на паліцах, колер дывана і становішча асноўнай крыніцы святла. Гэтыя апісанні фарміруюць ваш візуальны якар. Яны з’яўляюцца стабільнай асновай, на якой будуецца ўвесь рух. Калі вы змяняеце апісанне паміж кліпамі, вы парушаеце бесперапыннасць. Калі вы прапускаеце апісанне, мадэль запоўніць пропуск уласным статыстычным сярэднім, якое будзе адрознівацца ад папярэдняга кліпа.
Запыт руху камеры і прасторавых суадносін
Мова камеры — гэта тое месца, дзе адбываецца большасць збояў у апавяданні. Мадэлі часта неадназначна інтэрпрэтуюць «камера ідзе за» або «панарама ўправа», што прыводзіць да раптоўных скачкоў перспектывы або арыентацыі. Вы павінны яўна вызначыць становішча камеры, арыентацыю і вектар руху. Замест таго, каб казаць «камера рухаецца разам з персанажам», удакладніце «статычны сярэдні план, узровень вачэй, камера зафіксавана ў пазіцыі A, персанаж рухаецца злева напраўз па кадры». Калі вам патрэбны рухомы план, вызначце траекторыю: «павольны долі-ін, захоўваючы ўзровень вачэй, сочачы за спінай персанажа».
Прасторавыя суадносіны павінны быць зафіксаваны адносна камеры, а не толькі адносна адна адной. Калі Персанаж A стаіць насупраць Персанажа B, удакладніце іх адносныя пазіцыі і арыентацыі. «Персанаж A стаіць у левай трэці кадра, глядзячы ўправа. Персанаж B стаіць у правай трэці, глядзячы ўлева. Яны на адлегласці двух метраў адзін ад аднаго». Гэтае геаметрычнае фіксаванне не дазваляе мадэлі мяняць месцамі пазіцыі або змяняць вугал узаемадзеяння паміж кадрамі. Выкарыстоўвайце такія тэрміны, як «профільны від», «від у тры чвэрці» і «прамы фронтальны», каб зафіксаваць арыентацыю твароў і цел.
Кіраванне стабільнасцю асвятлення і каляровай карэкцыі
Асвятленне — самы тонкі, але крытычны аспект бесперапыннасці. Калі крыніца святла змяняе становішча або інтэнсіўнасць паміж кліпамі, цені зрушваюцца, і паслядоўнасць здаецца знятай у двух розных фільмах. Вызначце схему асвятлення ў галоўным апісанні. Укажыце асноўную крыніцу святла (напрыклад, "адзіная столішняя флуарэсцэнтная лямпа, халоднае белае, 4000K"), напрамак ценяў і навакольнае запаўняльнае святло. Уключайце інструкцыі па каляровай карэкцыі ў кожны запыт. Калі ваш апавяданне ў стылі нуар, укажыце "высокі кантраст, дэсатураваная палітра, бірюзовыя і аранжавыя тоны ценяў". Калі яно яркае і вясёлае, укажыце "мяккае рассейванае дзённае святло, цёплыя святлыя ўчасткі, нізкі кантраст". Гэтыя параметры карэкцыі павінны заставацца нязменнымі ва ўсіх кліпах сцэны. Калі вам патрэбна змена асвятлення для апавядальнага эфекту, зрабіце яе свядомай, зададзенай пераходам, а не выпадковым зрухам.
Ланцужковае злучэнне кліпаў: выкарыстанне канчатковых кадраў як пачатковых
Найбольш эфектыўная тэхніка для захавання бесперапыннасці паміж кліпамі — ланцужковае злучэнне. Пры генерацыі паслядоўнасці выцягніце апошні кадр Кліпа 1 і выкарыстайце яго як пачатковы кадр або рэферэнсны відарыс для Кліпа 2. Гэта прымушае мадэль пачынаць генерацыю з дакладнага візуальнага стану, на якім скончыўся папярэдні кліп. Нават калі тэкст запыту крыху адрозніваецца для новага дзеяння, візуальны якар пачатковага кадра фіксуе знешнасць персанажа, асвятленне і становішча камеры. Гэты метад лепшы за апору толькі на тэкставыя запыты для бесперапыннасці, паколькі ён абыходзіць імавернасную інтэрпрэтацыю дэскрыптараў ідэнтычнасці мадэллю. Калі ваша інструментальная сродка падтрымлівае пераўтварэнне відарыса ў відэа або інтэрпаляцыю ключавых кадраў, выкарыстоўвайце яе. Калі не падтрымлівае, выкарыстоўвайце канчатковы кадр як стылістычную рэферэнцыю або абмежаванне для інпейнтінгу, каб забяспечыць супадзенне пачатку наступнага кліпа з канцом папярэдняга.
Тыповыя памылкі: празмерная дэталізацыя руху супраць недастатковай дэталізацыі кантэксту
Стваральнікі часта трапляюць у дзве крайнасці. Першая — празмерная дэталізацыя руху. Калі вы апісваеце кожную мікра-рух цела — "яна міргае, пераносіць вагу, яе валасы калацяцца на ветры", — мадэль перагружаецца і можа ігнараваць асноўнае дзеянне або генераваць фізічна немагчымыя вынікі. Трымайце апісанні руху на высокім узроўні і кінетычным: "ідзе наперад", "паварочвае галаву", "паднімае руку". Няхай мадэль сама апрацоўвае мікра-механіку.
Другая — недастатковая дэталізацыя кантэксту. Калі вы спадзяецеся, што мадэль сама вызначыць ідэнтычнасць персанажа або асвятленне сцэны з агульнага запыту, вы губляеце кантроль. Нельга лічыць, што мадэль запомніць персанажа з папярэдняга кліпа, калі вы не паўтарыце візуальны якар. Нельга лічыць, што асвятленне застанецца стабільным, калі вы не зададуць яго відавочна. Правіла простае: апісвайце нязменнае (ідэнтычнасць, асвятленне, становішча камеры) вельмі дэталёва, а зменнае (рух, дзеянне) — каротка і ў агульных рысах.