നാറേറ്റീവ് വീഡിയോ കണ്ടിന്യൂയിറ്റിക്ക് AI എങ്ങനെ പ്രോംപ്റ്റ് ചെയ്യണം

കഥാപാത്രങ്ങളും പരിസരങ്ങളും എന്നിവയ്ക്കായി ഒരു ദൃഢമായ ദൃശ്യ ആങ്കർ സ്ഥാപിച്ചും, ഓരോ ക്ലിപ്പിലും ക്യാമറ പോസിഷനും ലൈറ്റിംഗ് പാരാമീറ്ററുകളും കർശനമായി നിയന്ത്രിച്ചും നിങ്ങൾ നാറേറ്റീവ് കോഹറൻസ് നിലനിർത്തുന്നു. ജനറേറ്റീവ് വീഡിയോയിലെ ടെമ്പറൽ കൺസിസ്റ്റൻസി മോഡൽ നിങ്ങളുടെ കഥ മനസ്സിലാക്കുമെന്ന് പ്രതീക്ഷിച്ചാണ് ലഭിക്കുന്നത്; മറിച്ച്, സ്ഥിരമായ, മുൻകൂട്ടി നിർവചിച്ച ദൃശ്യ അവസ്ഥയുടെ വ്യത്യസ്ത റെൻഡറിംഗായി ഓരോ വീഡിയോ ക്ലിപ്പിനെയും കണക്കാക്കിക്കൊണ്ടാണ് ഇത് ലഭിക്കുന്നത്.

ജനറേറ്റീവ് വീഡിയോയിലെ ടെമ്പറൽ ഡിസ്കണ്ടിന്യൂട്ടിയുടെ പ്രശ്നം

ജനറേറ്റീവ് വീഡിയോ മോഡലുകൾ ഒരു പ്രോംപ്റ്റും പരിമിതമായ കോൺടെക്സ്റ്റ് വിൻഡോയും അടിസ്ഥാനമാക്കി ഫ്രെയിമുകൾ പ്രവചിച്ചുകൊണ്ടാണ് പ്രവർത്തിക്കുന്നത്. മുൻ ക്ലിപ്പിൽ നിങ്ങളുടെ കഥാപാത്രം ആരായിരുന്നു എന്നതിനെക്കുറിച്ച് ഇവയ്ക്ക് സ്ഥിരമായ മെമ്മറി ഉണ്ടാകില്ല. ഒരു സ്ത്രീ തെരുവിലൂടെ നടക്കുന്ന അഞ്ച് സെക്കൻഡ് ക്ലിപ്പ് നിങ്ങൾ ജനറേറ്റ് ചെയ്യുകയും, പിന്നീട് അവൾ തിരിഞ്ഞുനിൽക്കുന്ന രണ്ടാമത്തെ അഞ്ച് സെക്കൻഡ് ക്ലിപ്പ് ജനറേറ്റ് ചെയ്യുകയും ചെയ്താൽ, രണ്ടാമത്തെ പ്രോംപ്റ്റിനെ മോഡൽ ഒരു പുതിയ, സ്വതന്ത്രമായ നിർദ്ദേശമായി കണക്കാക്കുന്നു. വ്യക്തമായ പരിമിതികൾ ഇല്ലാത്തപ്പോൾ, അവളുടെ മുഖസവിശേഷതകൾ, മുടി നിറം, വസ്ത്രത്തിന്റെ ടെക്സ്ചർ, അല്ലെങ്കിൽ ഉയരം പോലും മാറ്റാൻ ഇത് സാധ്യതയുണ്ട്. ഈ പ്രതിഭാസത്തെ ടെമ്പറൽ ഡിസ്കണ്ടിന്യൂട്ടി എന്ന് വിളിക്കുന്നു. ആഗോള നാററ്റീവ ഐഡന്റിറ്റിയോടുള്ള വിശ്വസ്തതയ്ക്കായി അല്ല, മറിച്ച് നിലവിലെ പ്രോംപ്റ്റിനുള്ളിലെ സാധ്യതയ്ക്കായി മോഡൽ ഒപ്റ്റിമൈസ് ചെയ്യുന്നത്. ഇത് പരിഹരിക്കാൻ, വ്യാഖ്യാനത്തിന് ഇടനിലം നൽകുന്ന സ്വാഭാവിക ഭാഷാ വിവരണങ്ങളിൽ നിന്ന് മാറി, വ്യതിയാനത്തിന് ഇടമില്ലാത്ത കർശനവും വ്യക്തവുമായ സ്പെസിഫിക്കേഷനുകളിലേക്ക് മാറേണ്ടതുണ്ട്.

ദൃശ്യ ആങ്കർ നിർവചിക്കൽ: കഥാപാത്രവും പരിസ്ഥിതി വിവരണങ്ങളും ലോക്ക് ചെയ്യുക

മോഷൻ ജനറേറ്റ് ചെയ്യുന്നതിന് മുമ്പ്, നിങ്ങളുടെ വിഷയങ്ങളുടെയും പശ്ചാത്തലത്തിന്റെയും വിഷ്വൽ ഐഡന്റിറ്റി കൃത്യതയോടെ നിർവചിക്കേണ്ടതുണ്ട്. ഓരോ കഥാപാത്രത്തിനും ഒരു മാസ്റ്റർ ഡിസ്ക്രിപ്റ്റർ സൃഷ്ടിക്കുക. പ്രായം, വംശീയത, പ്രത്യേക മുഖ സവിശേഷതകൾ (ഉദാഹരണത്തിന്, "strong jawline, slight scar on left eyebrow"), മുടി ശൈലിയും നിറവും, പാറ്റേണും കട്ടും ഉൾപ്പെടെയുള്ള വസ്ത്ര വിശദാംശങ്ങൾ എന്നിവ പോലുള്ള മാറ്റമില്ലാത്ത ഗുണങ്ങൾ ഈ ഡിസ്ക്രിപ്റ്ററിൽ ഉൾപ്പെടുത്തണം. "cool outfit" അല്ലെങ്കിൽ "mysterious woman" പോലുള്ള അസ്ഫഷ്ടമായ പദങ്ങൾ ഉപയോഗിക്കരുത്. പകരം, "wearing a charcoal grey wool coat, buttoned to the neck, with a red silk scarf" എന്ന് നിർദ്ദേശിക്കുക. ഈ ഡിസ്ക്രിപ്റ്റർ ഒരിക്കൽ എഴുതി, ആ കഥാപാത്രത്തെ ഉൾപ്പെടുത്തുന്ന ഓരോ പ്രോംപ്റ്റിലും അത് കോപ്പി-പേസ്റ്റ് ചെയ്യുക.

എൻവയൺമെന്റുകൾക്കും ഇത് തന്നെ ചെയ്യുക. സ്ഥലവും ടെക്സ്ചറും അടിസ്ഥാനമാക്കി ലൊക്കേഷൻ നിർവചിക്കുക. ലൈബ്രറിയാണെങ്കിൽ, ഷെൽഫിലെ മരത്തിന്റെ തരം, കർപ്പറ്റിന്റെ നിറം, പ്രധാന ലൈറ്റ് സോഴ്സിന്റെ സ്ഥാനം എന്നിവ വ്യക്തമാക്കുക. ഈ ഡിസ്ക്രിപ്റ്ററുകൾ ആണ് നിങ്ങളുടെ വിഷ്വൽ ആങ്കർ. എല്ലാ ചലനങ്ങളും ഇവയുടെ അടിസ്ഥാനത്തിലാണ് നിർമ്മിച്ചിരിക്കുന്നത്. ക്ലിപ്പുകൾക്കിടയിൽ ഒരു ഡിസ്ക്രിപ്റ്റർ മാറ്റിയാൽ, കണ്ടിന്യൂയിറ്റി തകരും. ഒരു ഡിസ്ക്രിപ്റ്റർ ഒഴിവാക്കിയാൽ, മോഡൽ അതിന്റെ സ്വന്തം സ്റ്റാറ്റിസ്റ്റിക്കൽ ആവറേജ് ഉപയോഗിച്ച് വിടവ് നികത്തും, ഇത് നിങ്ങളുടെ മുമ്പത്തെ ക്ലിപ്പിൽ നിന്ന് വ്യത്യസ്തമായിരിക്കും.

ക്യാമറ മൂവ്മെന്റും സ്പേഷ്യൽ ബന്ധങ്ങളും പ്രോംപ്റ്റ് ചെയ്യുന്നത്

കാമറാ ഭാഷയാണ് കഥാപരിസരത്തിലെ പല തകരാറുകളും സംഭവിക്കുന്ന സ്ഥലം. മോഡലുകൾ പലപ്പോഴും 'കാമറ പിന്തുടരുന്നു' അല്ലെങ്കിൽ 'വലത്തേക്ക് പാൻ ചെയ്യുക' എന്നത് അസ്പഷ്ടമായി വ്യാഖ്യാനിക്കുന്നു, ഇത് ദൃശ്യപരമായ അല്ലെങ്കിൽ ദിശാപരമായ പെട്ടെന്നുള്ള മാറ്റങ്ങൾക്ക് കാരണമാകുന്നു. കാമറയുടെ സ്ഥാനം, ദിശ, ചലന വെക്ടർ എന്നിവ വ്യക്തമായി നിർവചിക്കേണ്ടതുണ്ട്. 'കാമറ കഥാപാത്രത്തോടൊപ്പം നീങ്ങുന്നു' എന്ന് പറയുന്നതിന് പകരം, 'സ്റ്റാറ്റിക് മീഡിയം ഷോട്ട്, കണ്ണിന്റെ ഉയരത്തിൽ, പൊസിഷൻ A-യിൽ കാമറ സ്ഥിരം, കഥാപാത്രം ഫ്രെയിമിലൂടെ ഇടത്തുനിന്ന് വലത്തേക്ക് നീങ്ങുന്നു' എന്ന് നിർദ്ദിഷ്ടമായി പറയുക. ചലിക്കുന്ന ഷോട്ട് ആവശ്യമുണ്ടെങ്കിൽ, പാത്ത് നിർവചിക്കുക: 'മന്ദഗതിയിൽ ഡോളി ഫോർവേഡ് ചെയ്യുക, കണ്ണിന്റെ ഉയരം നിലനിർത്തുക, കഥാപാത്രത്തിന്റെ പുറകുവശം പിന്തുടരുക.'

ക്യാമറയുമായി ബന്ധപ്പെട്ട് സ്ഥലപരമായ ബന്ധങ്ങൾ ലോക്ക് ചെയ്യണം, പരസ്പരം മാത്രമല്ല. കഥാപാത്രം A കഥാപാത്രം B-യെ നേരിടുന്നുണ്ടെങ്കിൽ, അവരുടെ ആപേക്ഷിക സ്ഥാനങ്ങളും ദിശകളും നിർദ്ദേശിക്കുക. "കഥാപാത്രം A ഫ്രെയിമിന്റെ ഇടതുവശത്തെ മൂന്നിലൊന്നിൽ നിൽക്കുന്നു, വലതുവശത്തേക്ക് നോക്കുന്നു. കഥാപാത്രം B വലതുവശത്തെ മൂന്നിലൊന്നിൽ നിൽക്കുന്നു, ഇടതുവശത്തേക്ക് നോക്കുന്നു. അവർ തമ്മിൽ രണ്ട് മീറ്റർ അകലമുണ്ട്." ഈ ജ്യാമിതീയ ലോക്കിംഗ്, ഷോട്ടുകൾക്കിടയിൽ സ്ഥാനങ്ങൾ മാറുന്നതിനോ ഇടപെടൽ കോണിൽ മാറ്റം വരുത്തുന്നതിനോ മോഡലിനെ തടയുന്നു. മുഖങ്ങളുടെയും ശരീരങ്ങളുടെയും ദിശ നിശ്ചയിക്കാൻ "പ്രൊഫൈൽ വ്യൂ," "ത്രീ-ക്വാർട്ടർ വ്യൂ," "ഡയറക്ട് ഫ്രണ്ടൽ" തുടങ്ങിയ പദങ്ങൾ ഉപയോഗിക്കുക.

ലൈറ്റിംഗും കളർ ഗ്രേഡിംഗ് സ്ഥിരതയും കൈകാര്യം ചെയ്യൽ

ലൈറ്റിംഗ് ആണ് കണ്ടിന്യൂയിറ്റിയുടെ ഏറ്റവും സൂക്ഷ്മവും നിർണായകവുമായ ഭാഗം. ക്ലിപ്പുകൾക്കിടയിൽ ലൈറ്റ് സോഴ്സിന്റെ സ്ഥാനമോ തീവ്രതയോ മാറിയാൽ, നിഴലുകൾ നീങ്ങുകയും സീക്വൻസ് രണ്ട് വ്യത്യസ്ത സിനിമകൾ പോലെ തോന്നുകയും ചെയ്യും. മാസ്റ്റർ ഡിസ്ക്രിപ്റ്ററിൽ നിങ്ങളുടെ ലൈറ്റിംഗ് സെറ്റപ്പ് നിർവചിക്കുക. പ്രൈമറി ലൈറ്റ് സോഴ്സ് (ഉദാഹരണത്തിന്, "single overhead fluorescent tube, cool white, 4000K"), നിഴലുകളുടെ ദിശ, ആംബിയന്റ് ഫിൽ ലൈറ്റ് എന്നിവ വ്യക്തമാക്കുക. ഓരോ പ്രോംപ്റ്റിലും കളർ ഗ്രേഡിംഗ് നിർദ്ദേശങ്ങൾ ഉൾപ്പെടുത്തുക. നിങ്ങളുടെ നരേറ്റീവ് നോയർ ആണെങ്കിൽ, "high contrast, desaturated palette, teal and orange shadow tones" എന്ന് വ്യക്തമാക്കുക. ഇത് തെളിച്ചമുള്ളതും സന്തോഷകരവുമാണെങ്കിൽ, "soft diffused daylight, warm highlights, low contrast" എന്ന് വ്യക്തമാക്കുക. ഒരു സീനിലെ എല്ലാ ക്ലിപ്പുകളിലും ഈ ഗ്രേഡിംഗ് പാരാമീറ്ററുകൾ സ്ഥിരമായി നിലനിർത്തണം. നരേറ്റീവ് ഇഫക്റ്റിനായി ലൈറ്റിംഗ് മാറ്റം വേണമെങ്കിൽ, അത് ഒരു ബോധപൂർവമായ, പ്രോംപ്റ്റ് ചെയ്ത ട്രാൻസിഷനാക്കുക; അപ്രതീക്ഷിതമായ ഡ്രിഫ്റ്റായി അല്ല.

ക്ലിപ്പുകൾ ചെയിൻ ചെയ്യൽ: എൻഡ്-ഫ്രെയിമുകൾ സ്റ്റാർട്ട്-ഫ്രെയിമുകളായി ഉപയോഗിക്കൽ

ക്ലിപ്പുകൾക്കിടയിൽ കണ്ടിന്യൂയിറ്റി നിലനിർത്താനുള്ള ഏറ്റവും ഫലപ്രദമായ ടെക്നിക്കാണ് ചെയിനിംഗ്. ഒരു സീക്വൻസ് ജനറേറ്റ് ചെയ്യുമ്പോൾ, ക്ലിപ്പ് 1-ന്റെ അവസാന ഫ്രെയിം എക്സ്ട്രാക്റ്റ് ചെയ്ത് ക്ലിപ്പ് 2-നായി സ്റ്റാർട്ടിംഗ് ഫ്രെയിമോ റഫറൻസ് ഇമേജോ ആയി ഉപയോഗിക്കുക. ഇത് മോഡലിനെ മുൻ ക്ലിപ്പ് അവസാനിച്ച അതേ വിഷ്വൽ സ്റ്റേറ്റിൽ നിന്ന് ജനറേഷൻ ആരംഭിക്കാൻ നിർബന്ധിക്കുന്നു. പുതിയ ആക്ഷനായി പ്രോംപ്റ്റ് ടെക്സ്റ്റ് അല്പം വ്യത്യാസപ്പെട്ടാലും, സ്റ്റാർട്ടിംഗ് ഫ്രെയിമിന്റെ വിഷ്വൽ ആങ്കർ കഥാപാത്രത്തിന്റെ പ്രത്യക്ഷപ്പെടൽ, ലൈറ്റിംഗ്, ക്യാമറ പൊസിഷൻ എന്നിവ ലോക്ക് ചെയ്യുന്നു. ഐഡന്റിറ്റി ഡിസ്ക്രിപ്റ്ററുകളുടെ പ്രോബബിലിസ്റ്റിക് ഇന്റർപ്രെട്ടേഷൻ മോഡൽ ഒഴിവാക്കുന്നതിനാൽ, കണ്ടിന്യൂയിറ്റിക്കായി ടെക്സ്റ്റ് പ്രോംപ്റ്റുകളിൽ മാത്രം ആശ്രയിക്കുന്നതിനേക്കാൾ മികച്ചതാണ് ഈ രീതി. നിങ്ങളുടെ ടൂൾ ഇമേജ്-ടു-വീഡിയോ അല്ലെങ്കിൽ കീഫ്രെയിം ഇന്റർപോളേഷൻ പിന്തുണയ്ക്കുന്നുണ്ടെങ്കിൽ അത് ഉപയോഗിക്കുക. അല്ലെങ്കിൽ, അടുത്ത ക്ലിപ്പിന്റെ തുടക്കം മുൻ ക്ലിപ്പിന്റെ അവസാനവുമായി പൊരുത്തപ്പെടുന്നുണ്ടെന്ന് ഉറപ്പാക്കാൻ എൻഡ്-ഫ്രെയിം ഒരു സ്റ്റൈൽ റഫറൻസോ ഇൻപെയിന്റിംഗ് കൺസ്ട്രയിന്റോ ആയി ഉപയോഗിക്കുക.

പൊതുവായ തെറ്റുകൾ: മോഷൻ ഓവർ-സ്പെസിഫൈ ചെയ്യൽ vs. കോൺടെക്സ്റ്റ് അണ്ടർ-സ്പെസിഫൈ ചെയ്യൽ

ക്രിയേറ്റർമാർ പലപ്പോഴും രണ്ട് അതിരൂപമായ കുടുക്കുകളിൽ പെടാറുണ്ട്. ആദ്യത്തേത് മോഷൻ ഓവർ-സ്പെസിഫൈ ചെയ്യുക എന്നതാണ്. ശരീരത്തിലെ ഓരോ മൈക്രോ മൂവ്മെന്റും - "she blinks, she shifts her weight, her hair swings in the wind" - നിങ്ങൾ വിവരിച്ചാൽ, മോഡൽ അതിഭാരം തോന്നുകയും കോർ ആക്ഷൻ അവഗണിക്കുകയോ ഭൗതികമായി അസാധ്യമായ ഫലങ്ങൾ ജനറേറ്റ് ചെയ്യുകയോ ചെയ്യാം. മോഷൻ വിവരണങ്ങൾ ഹൈ-ലെവലും കൈനറ്റിക്കും ആയി നിലനിർത്തുക: "walks forward," "turns head," "raises arm." മൈക്രോ മെക്കാനിക്സ് കൈകാര്യം ചെയ്യാൻ മോഡലിനെ അനുവദിക്കുക.

രണ്ടാമത്തെ കാര്യം കോൺടെക്സ്റ്റ് കൃത്യമായി നിർവചിക്കാതിരിക്കുക എന്നതാണ്. ഒരു വാഗ്ദാനത്തിൽ നിന്ന് കഥാപാത്രത്തിന്റെ ഐഡന്റിറ്റിയോ സീനിലെ ലൈറ്റിംഗോ മോഡൽ അനുമാനിക്കാൻ നിങ്ങൾ ആശ്രയിക്കുകയാണെങ്കിൽ, നിങ്ങൾ നിയന്ത്രണം നഷ്ടപ്പെടുത്തുന്നു. മുൻപത്തെ ക്ലിപ്പിൽ നിന്നുള്ള കഥാപാത്രത്തെ മോഡൽ ഓർമ്മിക്കുമെന്ന് നിങ്ങൾ കരുതരുത്, ദൃശ്യ ആങ്കർ വീണ്ടും വ്യക്തമാക്കിയില്ലെങ്കിൽ. ലൈറ്റിംഗ് സ്ഥിരതയോടെ തുടരുമെന്ന് നിങ്ങൾ കരുതരുത്, അത് വ്യക്തമായി പരിമിതപ്പെടുത്തിയില്ലെങ്കിൽ. നിയമം ലളിതമാണ്: മാറ്റമില്ലാത്തവ (ഐഡന്റിറ്റി, ലൈറ്റിംഗ്, ക്യാമറ പൊസിഷൻ) അതിസൂക്ഷ്മതയോടെ നിർവചിക്കുക, മാറ്റം വരുന്നവ (മോഷൻ, ആക്ഷൻ) ഉയർന്ന തലത്തിലുള്ള ലാഘവത്തോടെ നിർവചിക്കുക.