AI-ға сюжеттік видео үздіксіздігін қалай сұрау керек

Сіз сюжеттік үйлесімділікті кейіпкерлер мен орталар үшін қатаң визуалды тіректі орнату арқылы, содан кейін әрбір жеке үзіндіде камера орнын және жарықтандыру параметрлерін қатаң бақылау арқылы сақтайсыз. Генеративті видеодағы уақыттық тұрақтылық модель сіздің әңгімеңізді түсінеді деп үміттену арқылы емес, әрбір видео үзіндісін алдын ала анықталған статикалық визуалды күйдің дербес рендерингі ретінде қарау арқылы қол жеткізіледі.

Генеративті видеодағы уақыттық үзілістің мәселесі

Генеративті видео модельдері сұранысқа және шектеулі контекст терезесіне негізделген кадрларды болжау арқылы жұмыс істейді. Олардың алдыңғы үзіндідегі кейіпкеріңіз туралы тұрақты жады болмайды. Егер сіз көшемен жүріп бара жатқан әйелдің бес секундтық үзіндісін жасап, содан кейін оның артына қарайтын екінші бес секундтық үзіндісін жасасаңыз, модель екінші сұранысты жаңа, оқшауланған нұсқау ретінде қарастырады. Анық шектеулерсіз ол оның бет әлпетін, шаш түсін, киімнің текстурасын немесе тіпті бойын өзгертуі мүмкін. Бұл құбылыс уақыттық үзіліс деп аталады. Модель жаһандық сюжеттік сәйкестікке емес, ағымдағы сұраныс аясындағы сенімділікке бағытталған. Мұны шешу үшін сіз түсіндіруге мүмкіндік беретін табиғи тілдік сипаттамалардан аулақ болып, өзгеріске орын қалдырмайтын қатаң, декларативті спецификацияларға көшуіңіз керек.

Визуалды тіректі анықтау: кейіпкер мен орта сипаттамаларын бекіту

Кез келген қозғалысты генерациялау алдында, сіз объектілеріңіз бен ортаңыздың визуалды сәйкестігін абсолютті дәлдікпен анықтауыңыз керек. Әрбір кейіпкер үшін негізгі сипаттама жасаңыз. Бұл сипаттама өзгермейтін атрибуттарды қамтуы тиіс: жасы, этникалық тиесілігі, нақты бет әлпетінің ерекшеліктері (мысалы, "анық жақ сүйегі, сол қасқа жақын кішкентай тыртық"), шаш үлгісі мен түсі, сондай-ақ өрнегі мен пішініне дейінгі киімнің егжей-тегжейлі сипаттамасы. "Сәнді киім" немесе "жұмбақ әйел" сияқты жалпылама терминдерді қолданбаңыз. Оның орнына "мойынға дейін түймеленген көмір-сұр жүн пальто, қызыл жібек шарфпен" деп нақтылаңыз. Бұл сипаттаманы бір рет жазып, сол кейіпкер қатысатын әрбір сұранысқа көшіріп қойыңыз.

Орта үшін де солай жасаңыз. Орынды кеңістіктік және текстуралық тұрақтылармен анықтаңыз. Егер сахна кітапхана болса, сөрелердегі ағаш түрін, кілемнің түсін және негізгі жарық көзінің орнын нақтылаңыз. Бұл сипаттамалар сіздің визуалды тірегіңізді құрайды. Олар барлық қозғалыс салынып жатқан статикалық негіз болып табылады. Егер клиптер арасында бір сипаттаманы өзгертсеңіз, үздіксіздікті бұзасыз. Егер сипаттаманы түсіріп қалдырсаңыз, модель бос орынды өз статистикалық орташа мәнімен толтырады, бұл алдыңғы клиптен өзгеше болады.

Камера қозғалысы мен кеңістіктік қатынастарды сипаттау

Камера тілі – баяндаудың бұзылуы жиі кездесетін жер. Модельдер көбіне "камера соңынан ереді" немесе "оңға панорама жасау" деген сөздерді екіұшты түсіндіріп, перспективадағы немесе бағыттағы кенеттен секірмелерге әкеледі. Камераның орнын, бағытын және қозғалыс векторын нақты анықтау қажет. "Камера кейіпкермен бірге қозғалады" деп айтудың орнына, "тұрақты орташа план, көз деңгейінде, камера А нүктесінде бекітілген, кейіпкер кадрдың сол жағынан оң жағына қарай жылжиды" деп нақтылаңыз. Егер қозғалмалы кадр қажет болса, траекторияны анықтаңыз: "көз деңгейін сақтай отырып, баяу алға жылжу, кейіпкердің артынан бақылау".

Кеңістіктік қатынастар бір-біріне қатысты емес, камераға қатысты бекітілуі керек. Егер А кейіпкері В кейіпкеріне қарап тұрса, олардың өзара орналасуын және бағытын нақтылаңыз. "А кейіпкері кадрдың сол үштен бір бөлігінде тұр, оңға қарап. В кейіпкері оң үштен бір бөлігінде тұр, солға қарап. Олардың арасы екі метр." Бұл геометриялық бекіту модельдің кадрлар арасында орындарды ауыстыруына немесе қарым-қатынас бұрышын өзгертуіне жол бермейді. Беттер мен денелердің бағытын бекіту үшін "профиль түрі", "үштен төрт көрініс" және "тік алдыңғы көрініс" сияқты терминдерді қолданыңыз.

Жарықтандыру және түстерді өңдеу тұрақтылығын басқару

Жарықтандыру – үздіксіздіктің ең нәзік, бірақ маңызды аспектісі. Егер жарық көзінің орны немесе қарқындылығы клиптер арасында өзгерсе, көлеңкелер жылжып, тізбек екі түрлі фильм сияқты көрінеді. Негізгі сипаттамада жарықтандыру параметрлерін анықтаңыз. Негізгі жарық көзін (мысалы, "бір төбе люминесценттік шамы, суық ақ, 4000K"), көлеңкелер бағытын және қоршаған орта жарығын нақтылаңыз. Әрбір сұранысқа түстерді түзету нұсқауларын қосыңыз. Егер оқиға ноир стилінде болса, "анық контраст, қанықтығы төмен палитра, көк-жасыл және қызғылт сары көлеңке тондары" деп жазыңыз. Егер жарық және көңілді болса, "жұмсақ шашыраңқы күндізгі жарық, жылы жарық нүктелері, төмен контраст" деп жазыңыз. Бұл түзету параметрлері сахнадағы барлық клиптерде тұрақты болуы керек. Егер сюжеттік әсер үшін жарықтандыруды өзгерткіңіз келсе, оны кездейсоқ ауытқу емес, арнайы сұраныспен жасалған өтпелі кезең ретінде жасаңыз.

Клиптерді тізбектеу: соңғы кадрларды бастапқы кадр ретінде қолдану

Клиптер арасындағы үздіксіздікті сақтаудың ең тиімді әдісі – тізбектеу. Тізбекті генерациялау кезінде 1-клиптің соңғы кадрын алып, оны 2-клип үшін бастапқы кадр немесе эталондық кескін ретінде қолданыңыз. Бұл модельге генерацияны алдыңғы клип аяқталған дәл визуалды күйден бастауға мәжбүрлейді. Жаңа әрекет үшін мәтіндік сұраныс сәл өзгерген күннің өзінде, бастапқы кадрдың визуалды тірегі кейіпкердің сырт келбетін, жарықтандыруды және камераның орнын бекітеді. Бұл әдіс үздіксіздік үшін тек мәтіндік сұраныстарға сүйенуден гөрі тиімді, себебі ол модельдің сәйкестендіру сипаттамаларын ықтималдық негізінде түсіндіруін айналып өтеді. Егер құралыңыз кескіннен бейнеге немесе негізгі кадрларды интерполяциялауға қолдау көрсетсе, соны қолданыңыз. Егер қолдамаса, келесі клиптің басы алдыңғы клиптің соңына сәйкес келуін қамтамасыз ету үшін соңғы кадрды стильдік эталон немесе inpainting шектеуі ретінде қолданыңыз.

Жиі кездесетін қателер: қозғалысты шамадан тыс сипаттау мен контексті жеткіліксіз сипаттау

Креаторлар жиі екі шекті қателікке түседі. Біріншісі – қозғалысты шамадан тыс сипаттау. Егер дененің әрбір микро-қозғалысын сипаттасаңыз – "ол көзін жыпылықтатты, салмағын ауыстырды, шашы желге ұшып жүр" – модель шамадан тыс жүктеліп, негізгі әрекетті елемей қалуы немесе физикалық тұрғыдан мүмкін емес нәтижелерді генерациялауы мүмкін. Қозғалыс сипаттамаларын жоғары деңгейде және кинетикалық түрде ұстаңыз: "алға жүреді", "басын бұрады", "қолын көтереді". Микро-механиканы модельдің өзіне қалдырыңыз.

Екіншісі – контексті жеткіліксіз сипаттау. Егер модельдің кейіпкердің тұлғасын немесе сахна жарықтандыруын жалпылама сұраныстан шығарып алуына сенсеңіз, бақылауды жоғалтасыз. Алдыңғы үзіндідегі кейіпкерді модель есте сақтайды деп болжауға болмайды, егер сіз визуалды тіректі қайтадан нақтыламаған болсаңыз. Жарықтандыру тұрақты болады деп болжауға болмайды, егер сіз оны ашық түрде шектемесеңіз. Ереже қарапайым: өзгермейтін элементтерді (тұлға, жарықтандыру, камера орны) өте мұқият сипаттаңыз, ал өзгермелі элементтерді (қозғалыс, әрекет) жоғары деңгейде қысқаша беріңіз.