როგორ შევქმნათ პრომპტი AI-სთვის ნარატიული ვიდეოს უწყვეტობისთვის

ნარატიული თანმიმდევრულობა ინარჩუნება პერსონაჟებისა და გარემოსთვის მკაცრი ვიზუალური ანკერის დადებით, შემდეგ კი თითოეული ცალკეული კლიპისთვის კამერის პოზიციისა და განათების პარამეტრების მკაცრი კონტროლით. გენერატიულ ვიდეოში დროითი თანმიმდევრულობა მიიღწევა არა იმის იმედით, რომ მოდელი გაიგებს თქვენს ისტორიას; ის მიიღწევა თითოეული ვიდეოკლიპის, როგორც სტატიკური, წინასწარ განსაზღვრული ვიზუალური მდგომარეობის ცალკეული რენდერის, განხილვით.

დროითი უწყვეტობის პრობლემა გენერატიულ ვიდეოში

გენერატიული ვიდეომოდელები მუშაობენ კადრების პროგნოზირებით პრომპტისა და შეზღუდული კონტექსტური ფანჯრის საფუძველზე. მათ არ გააჩნიათ მუდმივი მეხსიერება იმის შესახებ, თუ ვინ იყო თქვენი პერსონაჟი წინა კლიპში. თუ შექმენით ხუთწამიანი კლიპი ქალის შესახებ, რომელიც ქუჩაზე მიდის, და შემდეგ შექმენით მეორე ხუთწამიანი კლიპი, სადაც ის უკან იბრუნებს, მოდელი მეორე პრომპტს განიხილავს, როგორც ახალ, იზოლირებულ ინსტრუქციას. ღია შეზღუდვების გარეშე, ის სავარაუდოდ შეცვლის მის სახის მახასიათებლებს, თმის ფერს, ტანსაცმლის ტექსტურას ან სიმაღლესაც კი. ეს ფენომენი არის დროითი უწყვეტობა. მოდელი ოპტიმიზაციას ახდენს მიმდინარე პრომპტში სანდოობისთვის, არა გლობალური ნარატიული იდენტობის სიზუსტისთვის. ამის გადასაჭრელად, უნდა გადახვიდეთ ბუნებრივი ენის აღწერებიდან, რომლებიც ინტერპრეტაციას უშვებენ, მკაცრ, დეკლარატიულ სპეციფიკაციებისკენ, რომლებიც ვარიაციებისთვის ადგილს ტოვებს.

ვიზუალური ანკერის განსაზღვრა: პერსონაჟისა და გარემოს მახასიათებლების დაფიქსირება

ნებისმიერი მოძრაობის გენერირებამდე, თქვენ უნდა განსაზღვროთ თქვენი სუბიექტებისა და გარემოს ვიზუალური იდენტობა აბსოლუტური სიზუსტით. შექმენით მასტერ-მახასიათებელი თითოეული პერსონაჟისთვის. ეს მახასიათებელი უნდა შეიცავდეს ცვლელ ატრიბუტებს: ასაკი, ეთნიკური წარმომავლობა, კონკრეტული სახის მახასიათებლები (მაგ., "ძლიერი ყბის ხაზი, მცირე ნაწიბური მარცხენა წარბზე"), თმის სტილი და ფერი, ასევე ტანსაცმლის დეტალები ნიმუშამდე და მესამამდე. ნუ გამოიყენებთ გაურკვეველ ტერმინებს, როგორიცაა "მაგარი ტანსაცმელი" ან "მოხდენილი ქალი". ნაცვლად ამისა, მიუთითეთ "ნაცრისფერი მატყლის ქურთუკი, ყელამდე ჩაკეცილი, წითელი აბრეშუმის შარფით". ჩაწერეთ ეს მახასიათებელი ერთხელ და ჩასვით ის ყველა პრომპტში, რომელიც ეხება ამ პერსონაჟს.

გარემოსთვის იგივე გააკეთეთ. განსაზღვრეთ ადგილი სივრცითი და ტექსტურული მუდმივებით. თუ სცენა ბიბლიაა, მიუთითეთ თაროებზე ხის ტიპი, ხავერდის ფერი და მთავარი სინათლის წყაროს მდებარეობა. ეს აღწერები ქმნის თქვენს ვიზუალურ ღერძს. ისინი წარმოადგენენ სტატიკურ საფუძველს, რომელზეც ყველა მოძრაობა აგებულია. თუ კლიპებს შორის აღწერას შეცვლით, თანმიმდევრულობას დაარღვევთ. თუ აღწერას გამოტოვებთ, მოდელი სიცარიელეს საკუთარი სტატისტიკური საშუალოთი შეავსებს, რომელიც განსხვავდება თქვენს წინა კლიპისგან.

კამერის მოძრაობისა და სივრცითი ურთიერთობების პრომპტინგი

კამერის ენა ის ადგილია, სადაც ნარატიული ჩავარდნების უმეტესობა ხდება. მოდელებ ხშირად ორაზროვნად ინტერპრეტირებენ "კამერა მიჰყვება" ან "პანირება მარჯვნივ" ტერმინებს, რაც პერსპექტივაში ან ორიენტაციაში მკვეთრ ნახტომებს იწვევს. თქვენ უნდა ღიათად განსაზღვროთ კამერის პოზიცია, ორიენტაცია და მოძრაობის ვექტორი. "კამერა პერსონაჟს მიჰყვება"-ს ნაცვლად, მიუთითეთ "სტატიკური საშუალო გეგმა, თვალის დონეზე, კამერა ფიქსირებულია A პოზიციაზე, პერსონაჟი მოძრაობს მარცხნიდან მარჯვნივ კადრში." თუ მოძრავი კადრი გჭირდებათ, განსაზღვრეთ ტრაექტორია: "ნელი დოლი მარცხნივ, თვალის დონის შენარჩუნებით, პერსონაჟის ზურგის გაყოლა."

სივრცითი ურთიერთობები უნდა იყოს დაფიქსირებული კამერის მიმართ, არა მხოლოდ ერთმანეთის მიმართ. თუ პერსონაჟი A პერსონაჟ B-ს უყურებს, მიუთითეთ მათი ფარდობითი პოზიციები და ორიენტაციები. "პერსონაჟი A დგას კადრის მარცხენა მესამედზე, მარჯვნივ მიმართული. პერსონაჟი B დგას მარჯვენა მესამედზე, მარცხნივ მიმართული. ისინი ერთმანეთისგან ორი მეტრის მანძელზე დგანან." ეს გეომეტრიული ფიქსაცია ხელს უშლის მოდელს, რომ კადრებს შორის პოზიციები შეცვალოს ან ჩართვის კუთხე შეცვალოს. გამოიყენეთ ტერმინები "პროფილური ხედი", "სამი მეოთხედის ხედი" და "პირდაპირი ფრონტალური ხედი" სახეებისა და სხეულების ორიენტაციის დასაფიქსირებლად.

განათებისა და ფერების გრეიდინგის თანმიმდევრულობის მართვა

განათება უწყვეტობის ყველაზე წვრილმანი, მაგრამ კრიტიკული ასპექტია. თუ სინათლის წყარო კლიპებს შორის პოზიციას ან ინტენსივობას ცვლის, ჩრდილებიც გადაინაცვლებს, რის გამოც თანმიმდევრობა ორი სხვადასხვა ფილმის შთაბეჭდილებას დატოვებს. განსაზღვრეთ თქვენი განათების სქემა მთავარ აღწერაში. მიუთითეთ ძირითადი სინათლის წყარო (მაგ., "ერთი ჭერის ფლუორესცენტური ნათურა, ცივი თეთრი, 4000K"), ჩრდილების მიმართულება და გარემოს დამატებითი განათება. შეიტანეთ ფერების გრეიდინგის მითითებები ყოველ პრომპტში. თუ თქვენი ნარატივი ნუარის სტილშია, მიუთითეთ "მაღალი კონტრასტი, გაუფერულებული პალიტრა, ბირთვული და ნარინჯისფერი ჩრდილის ტონები". თუ ის მკაფიო და მხიარულია, მიუთითეთ "რბილი გაბნეული დღის სინათლე, თბილი ჰაილაითები, დაბალი კონტრასტი". ეს გრეიდინგის პარამეტრები უცვლელი უნდა დარჩეს სცენის ყველა კლიპში. თუ გსურთ განათების ცვლილება ნარატიული ეფექტისთვის, გახადეთ ის გათვლილი, პრომპტით განსაზღვრული გადასვლა და არა შემთხვევითი გადახრა.

კლიპების ჯაჭვება: საბოლოო კადრების გამოყენება საწყის კადრებად

კლიპებს შორის უწყვეტობის შენარჩუნების ყველაზე ეფექტური ტექნიკა ჯაჭვებაა. თანმიმდევრობის გენერირებისას, ამოიღეთ 1-ლი კლიპის ბოლო კადრი და გამოიყენეთ ის, როგორც მე-2 კლიპის საწყისი კადრი ან საცნობარო სურათი. ეს აიძულებს მოდელს, დაიწყოს გენერირება ზუსტად იმ ვიზუალური მდგომარეობიდან, სადაც წინა კლიპი დასრულდა. მიუხედავად იმისა, რომ პრომპტის ტექსტი ახალი მოქმედებისთვის ოდნავ შეიცვლება, საწყისი კადრის ვიზუალური ანკერი აფიქსირებს პერსონაჟის გარეგნობას, განათებას და კამერის პოზიციას. ეს მეთოდი უფრო ეფექტურია, ვიდრე უწყვეტობისთვის მხოლოდ ტექსტურ პრომპტებზე დაყრდნობა, რადგან ის ავტომატურად გვერდს აუვლის მოდელის იდენტობის აღმნიშვნელების ალბათურ ინტერპრეტაციას. თუ თქვენს ინსტრუმენტს აქვს სურათიდან ვიდეომ ან კადრების ინტერპოლაციის მხარდაჭერა, გამოიყენეთ ის. თუ არა, გამოიყენეთ ბოლო კადრი, როგორც სტილის საცნობარო ან inpainting-ის შეზღუდვა, რათა უზრუნველყოთ, რომ შემდეგი კლიპის დასაწყისი ემთხვევოდეს წინა კლიპის დასასრულს.

გავრცელებული შეცდომები: მოძრაობის ზედმეტი დეტალიზაცია კონტექსტის არასაკმარისი აღწერის წინააღმდეგ

შემქმნელები ხშირად ორ ექსტრემალურ ხაფანგში ეცემიან. პირველი არის მოძრაობის ზედმეტი დეტალიზაცია. თუ თქვენ აღწერთ სხეულის ყველა მიკრომოძრაობას – "ის ახამხამებს თვალებს, გადააქვს წონა, თმა ქარში ირხევა", – მოდელი იტვირთება და შესაძლოა, იგნორირება გაუკეთოს ძირითად მოქმედებას ან შექმნას ფიზიკურად შეუძლებელი შედეგები. შეინარჩუნეთ მოძრაობის აღწერები ზოგადი და კინეტიკური: "მიდის წინ", "აქცევს თავს", "აწევს ხელს". მიკრომექანიკის დამუშავება მოდელს მიანდეთ.

მეორე მნიშვნელოვანი პრინციპია კონტექსტის არასაკმარისად განსაზღვრა. თუ თქვენ ეყრდნობით მოდელს, რომ ის დაასკვნას პერსონაჟის იდენტობა ან სცენის განათება ორაგული პრომპტიდან, თქვენ კონტროლს კარგავთ. ვერ ივარაუდებთ, რომ მოდელი გაიხსენებს პერსონაჟს წინა კლიპიდან, თუ ვიზუალურ ანკერს ხელახლა არ აღწერთ. ვერ ივარაუდებთ, რომ განათება მუდმივი დარჩება, თუ მას ცალსახად არ შეზღუდავთ. წესი მარტივია: განსაზღვრეთ ცვლელი (მოძრაობა, მოქმედება) მაღალი დონის მოკლე ფორმულირებით, ხოლო უცვლელი (იდენტობა, განათება, კამერის პოზიცია) – უკიდურესად დეტალურად.