راهنمای پرامپت‌نویسی برای تداوم روایت در ویدیوی هوش مصنوعی

شما انسجام روایی را با ایجاد یک لنگر بصری دقیق برای شخصیت‌ها و محیط‌ها حفظ می‌کنید، سپس پارامترهای موقعیت دوربین و نورپردازی را در هر کلیپ به‌صورت سخت‌گیرانه کنترل می‌کنید. دستیابی به ثبات زمانی در ویدیوی مولد، با امید به درک داستان توسط مدل حاصل نمی‌شود؛ بلکه با برخورداری از هر کلیپ ویدیویی به‌عنوان یک رندر مجزا از یک حالت بصری ثابت و از پیش تعریف‌شده محقق می‌گردد.

مسئله گسست زمانی در ویدیوی مولد

مدل‌های ویدیوی مولد با پیش‌بینی فریم‌ها بر اساس یک پرامپت و یک پنجره متنی محدود عمل می‌کنند. این مدل‌ها حافظه‌ای پایدار از هویت شخصیت شما در کلیپ قبلی ندارند. اگر یک کلیپ پنج‌ثانیه‌ای از راه رفتن یک زن در خیابان تولید کنید و سپس کلیپ دوم پنج‌ثانیه‌ای از چرخش او را بسازید، مدل پرامپت دوم را به‌عنوان یک دستور جدید و مستقل در نظر می‌گیرد. بدون قیدهای صریح، احتمالاً ویژگی‌های صورت، رنگ مو، بافت لباس یا حتی قد او تغییر خواهد کرد. این پدیده گسست زمانی نام دارد. مدل برای معقول بودن در پرامپت فعلی بهینه‌سازی می‌کند، نه برای وفاداری به هویت روایی کلی. برای حل این مشکل، باید از توصیفات زبان طبیعی که اجازه تفسیر می‌دهند فاصله بگیرید و به سمت مشخصات صریح و اعلامی حرکت کنید که جای هیچ‌گونه تغییری را باقی نمی‌گذارند.

تعریف لنگر بصری: تثبیت توصیف‌کننده‌های شخصیت و محیط

قبل از تولید هرگونه حرکت، باید هویت بصری سوژه‌ها و محیط خود را با دقت مطلق تعریف کنید. برای هر شخصیت یک توصیف‌کننده اصلی ایجاد کنید. این توصیف‌کننده باید شامل ویژگی‌های ثابت باشد: سن، قومیت، ویژگی‌های خاص صورت (مانند «فک قوی، جای زخم جزئی روی ابروی چپ»)، سبک و رنگ مو، و جزئیات لباس تا سطح الگو و برش. از اصطلاحات مبهم مانند «لباس باحال» یا «زن مرموز» استفاده نکنید. در عوض بنویسید: «پوشیدن کت پشمی خاکستری ذغالی، دکمه بسته تا گردن، همراه با شال ابریشمی قرمز». این توصیف‌کننده را یک بار بنویسید و آن را در تمام پرامپت‌های مرتبط با آن شخصیت کپی کنید.

برای محیط‌ها نیز همین کار را انجام دهید. مکان را با ثبات‌های فضایی و بافتی تعریف کنید. اگر صحنه یک کتابخانه است، نوع چوب قفسه‌ها، رنگ فرش و موقعیت منبع نور اصلی را مشخص کنید. این توصیف‌ها لنگر بصری شما را تشکیل می‌دهند. آن‌ها پایه ثابتی هستند که تمام حرکات بر روی آن‌ها بنا می‌شود. اگر بین کلیپ‌ها یک توصیف را تغییر دهید، پیوستگی را می‌شکنید. اگر یک توصیف را حذف کنید، مدل با میانگین آماری خود شکاف را پر می‌کند که با کلیپ قبلی شما متفاوت خواهد بود.

راهنمایی برای حرکت دوربین و روابط فضایی

زبان دوربین جایی است که اکثر اختلالات روایی رخ می‌دهند. مدل‌ها اغلب عبارت‌هایی مانند «دوربین دنبال می‌کند» یا «پن به راست» را مبهم تفسیر می‌کنند که منجر به پرش‌های ناگهانی در دیدگاه یا جهت‌گیری می‌شود. شما باید موقعیت، جهت‌گیری و بردار حرکت دوربین را به صراحت تعریف کنید. به جای گفتن «دوربین با شخصیت حرکت می‌کند»، بنویسید «شات متوسط ثابت، هم‌سطح چشم، دوربین ثابت در موقعیت A، شخصیت از چپ به راست در کادر حرکت می‌کند». اگر به یک شات متحرک نیاز دارید، مسیر را تعریف کنید: «دالی به جلو آهسته، حفظ هم‌سطحی چشم، ردیابی پشت شخصیت».

روابط فضایی باید نسبت به دوربین قفل شوند، نه فقط نسبت به یکدیگر. اگر شخصیت A رو به روی شخصیت B ایستاده است، موقعیت‌ها و جهت‌گیری‌های نسبی آن‌ها را مشخص کنید. «شخصیت A در یک‌سوم سمت چپ کادر ایستاده و رو به راست است. شخصیت B در یک‌سوم سمت راست ایستاده و رو به چپ است. آن‌ها دو متر از هم فاصله دارند.» این قفل هندسی از جابه‌جایی موقعیت‌ها یا تغییر زاویه تعامل بین شات‌ها توسط مدل جلوگیری می‌کند. از اصطلاحاتی مانند «نمای پروفایل»، «نمای سه‌ربع» و «نمای مستقیم از جلو» برای تثبیت جهت‌گیری صورت‌ها و بدن‌ها استفاده کنید.

مدیریت ثبات نورپردازی و درجه‌بندی رنگ

نورپردازی ظریف‌ترین اما حیاتی‌ترین جنبه تداوم است. اگر منبع نور بین کلیپ‌ها تغییر موقعیت یا شدت دهد، سایه‌ها جابه‌جا شده و حس می‌شود که دو فیلم متفاوت را می‌بینید. تنظیمات نورپردازی خود را در توصیف‌گر اصلی (Master Descriptor) تعریف کنید. منبع نور اصلی (مثلاً «یک لامپ فلورسنت سقفی، سفید سرد، 4000K»)، جهت سایه‌ها و نور محیطی پرکننده را مشخص کنید. دستورالعمل‌های اصلاح رنگ را در هر پرامپت بگنجانید. اگر روایت شما سبک نوآر است، «کنتراست تیز، پالت رنگی کم‌اشباع، تن‌های سایه فیروزه‌ای و نارنجی» را مشخص کنید. اگر فضا روشن و شاداب است، «نور روز ملایم و پخش‌شده، هایلایت‌های گرم، کنتراست کم» را مشخص کنید. این پارامترهای اصلاح رنگ باید در تمام کلیپ‌های یک صحنه ثابت بمانند. اگر می‌خواهید برای اثر روایی تغییر نور داشته باشید، آن را به‌عنوان یک گذار عمدی و با پرامپت مشخص انجام دهید، نه یک تغییر تصادفی.

اتصال کلیپ‌ها: استفاده از فریم‌های پایانی به‌عنوان فریم‌های شروع

موثرترین تکنیک برای حفظ تداوم بین کلیپ‌ها، اتصال زنجیره‌ای است. هنگام تولید یک دنباله، فریم نهایی کلیپ 1 را استخراج کرده و آن را به‌عنوان فریم شروع یا تصویر مرجع برای کلیپ 2 استفاده کنید. این کار مدل را مجبور می‌کند تولید را دقیقاً از همان وضعیت بصری که کلیپ قبلی تمام شده بود، آغاز کند. حتی اگر متن پرامپت برای عمل جدید کمی متفاوت باشد، لنگر بصری فریم شروع، ظاهر شخصیت، نورپردازی و موقعیت دوربین را قفل می‌کند. این روش بر تکیه صرف بر پرامپت‌های متنی برای تداوم برتری دارد، زیرا از تفسیر احتمالاتی مدل از توصیف‌گرهای هویتی عبور می‌کند. اگر ابزار شما از تبدیل تصویر به ویدیو یا درون‌یابی کلیدفریم پشتیبانی می‌کند، از آن استفاده کنید. اگر پشتیبانی نمی‌کند، از فریم پایانی به‌عنوان مرجع سبک یا محدودیت اینپینتینگ استفاده کنید تا مطمئن شوید ابتدای کلیپ بعد با انتهای کلیپ قبلی مطابقت دارد.

اشتباهات رایج: تعیین بیش از حد حرکت در مقابل تعیین ناکافی زمینه

خالقان اغلب در دو دام افراطی گرفتار می‌شوند. اولی، تعیین بیش از حد حرکت است. اگر هر جزئیات ریز حرکت بدن را توصیف کنید—«او چشمک می‌زند، وزن خود را جابه‌جا می‌کند، موهایش در باد تکان می‌خورد»—مدل دچار آشفتگی شده و ممکن است عمل اصلی را نادیده بگیرد یا نتایجی غیرممکن از نظر فیزیکی تولید کند. توصیفات حرکت را در سطح کلان و جنبشی نگه دارید: «به جلو راه می‌رود»، «سر را می‌چرخاند»، «دست را بالا می‌آورد». اجازه دهید مدل جزئیات ریز مکانیکی را مدیریت کند.

دوم، کم‌تعیین کردن زمینه است. اگر به مدل تکیه کنید تا هویت شخصیت یا نورپردازی صحنه را از یک پرامپت مبهم استنباط کند، کنترل را از دست می‌دهید. نمی‌توانید فرض کنید که مدل شخصیت را از کلیپ قبلی به یاد خواهد آورد، اگر لنگر بصری را دوباره بیان نکنید. نمی‌توانید فرض کنید که نورپردازی سازگار باقی خواهد ماند، اگر آن را به صراحت محدود نکنید. قاعده ساده است: موارد ثابت (هویت، نورپردازی، موقعیت دوربین) را با جزئیات بسیار دقیق مشخص کنید، و موارد متغیر (حرکت، کنش) را با اختصار کلی بیان کنید.