કેરેક્ટર સુસંગતતા ટેક્સ્ટમાં અપરિવર્તનીય લક્ષણો વ્યાખ્યાયિત કરીને, વિઝ્યુઅલ રેફરન્સ સાથે તેને એન્કર કરીને, અને લાઈટિંગ અને એંગલ જેવા ચલોને સખત રીતે નિયંત્રિત કરીને જાળવવામાં આવે છે. તમારા વર્કફ્લોમાં કેરેક્ટરની ઓળખને સીનના કોન્ટેક્સ્ટથી અલગ પાડીને તમે આ સાધી શકો છો.
જનરેટિવ AI માં કેરેક્ટર ડ્રિફ્ટની સમસ્યા
જનરેટિવ મોડેલ્સ પ્રોમ્પ્ટ્સને સંભાવનાત્મક રીતે અર્થઘટન કરે છે. જ્યારે તમે ચોક્કસ કેરેક્ટર માંગો છો, ત્યારે મોડેલ શક્ય અર્થઘટનોના વિતરણમાંથી સેમ્પલ લે છે. બંધારણો વિના, દરેક જનરેશન એક નવો રોલ છે. ફેસિયલ સ્ટ્રક્ચર, હેર ટેક્સચર, અથવા કપડાંના ડિટેલમાં નાના ફેરફારો ઈમેજોમાં જમા થાય છે. આ ડ્રિફ્ટ એટલા માટે થાય છે કારણ કે મોડેલ ચોક્કસ ઓળખ માર્કર્સ કરતાં ઓવરઓલ કમ્પોઝિશન અને લાઈટિંગને પ્રાધાન્ય આપે છે. જો તમે આઉટપુટને સક્રિયપણે નિયંત્રિત ન કરો, તો કેરેક્ટર એક ચોક્કસ વ્યક્તિને બદલે એક જનરિક આર્કેટાઈપ બની જાય છે.
પ્રોમ્પ્ટ્સમાં અપરિવર્તનીય કેરેક્ટર લક્ષણો વ્યાખ્યાયિત કરવા
તમારે કેરેક્ટરને વ્યાખ્યાયિત કરતા લક્ષણો ઓળખવા પડશે અને તેમને બિન-વાટાઘાટી તરીકે ગણવા પડશે. આ અપરિવર્તનીય લક્ષણો છે. તેમાં ચોક્કસ ફેસિયલ જિયોમેટ્રી, આંખનો રંગ, હેર શેપ, અને અનન્ય કપડાંના આઈટમ્સનો સમાવેશ થાય છે. "કૂલ" અથવા "મિસ્ટેરિયસ" જેવા અસ્પષ્ટ શબ્દોમાં કેરેક્ટરનું વર્ણન કરશો નહીં. ભૌતિક વાસ્તવિકતાનું વર્ણન કરો. "એક રગ્ડ લુક" ને બદલે, "ટૂંક ક્રોપ્ડ હેર, ડાબી ભ્રમરની ઉપર સ્કાર, પહેરેલ લેધર જાકેટ" સ્પષ્ટ કરો.
- અપરિવર્તનીય લક્ષણોને ટેક્સ્ટના નિશ્ચિત બ્લોકમાં લખો.
- દરેક પ્રોમ્પ્ટ માટે આ બ્લોક સમાન રાખો.
- તેને વધુ વજન આપવા માટે પ્રોમ્પ્ટની શરૂઆતમાં આ બ્લોક મૂકો.
- એવા વિશેષણો ટાળો જે અનેક અર્થઘટનો સૂચવે. કોંક્રિટ નાઉન્સ અને ફિઝિકલ ડિસ્ક્રિપ્ટર્સનો ઉપયોગ કરો.
જો તમે હેરનું વર્ણન બદલો, તો મોડેલ નવા વર્ણનને અલગ કેરેક્ટર તરીકે અર્થઘટન કરી શકે છે. ટેક્સ્ટ પ્રોમ્પ્ટ પ્રાથમિક એન્કર છે. જો ટેક્સ્ટ અસ્પષ્ટ હોય, તો ઈમેજ અસુસંગત હશે.
રેફરન્સ ઈમેજો અને સ્ટાઈલ એન્કર્સનો ઉપયોગ કરવો
જટિલ કેરેક્ટર્સ માટે ટેક્સ અકેલો ઘણીવાર અપૂરતો હોય છે. વિઝ્યુઅલ રેફરન્સ સ્પેશિયલ અને સ્ટાઈલિસ્ટિક એન્કર પૂરા પાડે છે. તમે કેરેક્ટરની ઈમેજ અપલોડ કરો છો જેથી મોડેલ ઓળખનું અર્થઘટન કરી શકે. આ જગ્યાએ ચોક્કસ ટૂલ્સ પ્રક્રિયામાં ફિટ થાય છે.
- Midjourney ત્યારે પસંદ કરો જ્યારે તમારે ચોક્કસ કેરેક્ટર ઇમેજનો સંદર્ભ લઈને નવી જનરેશનમાં ચહેરાની લાક્ષણિકતાઓ અને સ્ટાઇલિંગ સુસંગત રાખવા હોય.
- Adobe Firefly ત્યારે વાપરો જ્યારે Creative Cloud ઇકોસિસ્ટમમાં જનરેટ કરેલી ઇમેજ્સની સ્ટાઇલ અને ઓળખને માર્ગદર્શન આપવા માટે તમારે કેરેક્ટર રેફરન્સ ઇમેજ અપલોડ કરવી હોય.
- Leonardo.Ai ત્યારે પસંદ કરો જ્યારે તમારે એકાધિક ઇમેજ જનરેશનમાં ચોક્કસ કેરેક્ટર લાક્ષણિકતાઓ અને એસ્થેટિક્સ લોક કરવા હોય.
- Stable Diffusion એડવાન્સ્ડ સુસંગતતા માટે વાપરો, જેમાં કેરેક્ટર ડેટાસેટ્સ પર LoRA ટ્રેનિંગ અથવા પોઝ અને સ્ટ્રક્ચર લોકિંગ માટે ControlNet નો ઉપયોગ કરી શકાય છે.
- Krea ત્યારે લાગુ પાડો જ્યારે તમારે રિયલ-ટાઇમ જનરેશનમાં કેરેક્ટર ઓળખ અને સ્ટાઇલ જાળવી રાખવા માટે ઇમેજ અપલોડ કરવી હોય.
- Runway ત્યારે વાપરો જ્યારે તમારે વિડિયો સિક્વન્સ જનરેટ કરતી વખતે અથવા સ્ટેટિક કેરેક્ટર ડિઝાઇનને એનિમેટ કરતી વખતે કેરેક્ટર સુસંગતતા જાળવી રાખવી હોય.
- DALL-E 3 ત્યારે આધાર રાખો જ્યારે તમારે વિગતવાર, ચોક્કસ ટેક્સ્ટ પ્રોમ્પ્ટ્સ અને ઇટરેટિવ રિફાઇનમેન્ટ દ્વારા કેરેક્ટર સુસંગતતા જાળવી રાખવી હોય, કારણ કે તેમાં નેટિવ ઇમેજ-રેફરન્સ ફીચર નથી.
આ ટૂલ્સ વાપરતી વખતે, આઉટપુટનું મૂલ્યાંકન એના આધારે કરો કે ચહેરાનું સ્ટ્રક્ચર રેફરન્સ સાથે મેળ ખાય છે કે નહીં. સીન સારો દેખાય છે કે નહીં એના આધારે નહીં. જો ચહેરો ખોટો હોય, તો સીન અપ્રસ્તુત છે.
લાઈટિંગ અને એંગલ વેરિએશન્સનું મેનેજમેન્ટ
લાઈટિંગ અને એંગલ એ સમજાયેલી અસંગતતાના સૌથી સામાન્ય કારણો છે. તેજસ્વી દિવસના પ્રકાશમાં રહેલો કેરેક્ટર છાયામાં રહેલા જ કેરેક્ટર કરતાં અલગ દેખાય છે. આ ડ્રિફ્ટ નથી; આ ફિઝિક્સ છે. જોકે, મોડેલ્સ ઘણીવાર લાઈટિંગ ફેરફારોને ઓળખ ફેરફારો તરીકે અર્થઘટન કરે છે.
- જો તમે ઇચ્છો કે કેરેક્ટર એકસરખું દેખાય, તો લાઈટિંગ વર્ણન સુસંગત રાખો.
- જો તમે એંગલ બદલો, તો ચહેરાની લાક્ષણિકતાઓમાં ફેરફાર થવાની અપેક્ષા રાખો.
- બેઝલાઇન ઓળખ સ્થાપિત કરવા માટે કેરેક્ટર શીટ્સ માટે ન્યુટ્રલ લાઈટિંગનો ઉપયોગ કરો.
- ઓવરડ્રામેટિક લાઈટિંગ ફક્ત ઓળખ લોક થયા પછી જ લાગુ પાડો.
જો તમે અંધારાવાળી ગલીમાં કેરેક્ટર જનરેટ કરો અને પછી તેજસ્વી સ્ટુડિયોમાં, તો મોડેલ છાયાને અલગ ચહેરાના સ્ટ્રક્ચર તરીકે અર્થઘટન કરી શકે છે. ઓળખને એન્વાયર્નમેન્ટથી અલગ રાખો. પહેલા ન્યુટ્રલ કોન્ટેક્સ્ટમાં કેરેક્ટર જનરેટ કરો. પછી ચોક્કસ એન્વાયર્નમેન્ટ માટે કમ્પોઝિટ કરો અથવા પ્રોમ્પ્ટ આપો.
ઇટરેટિવ રિફાઇનમેન્ટ અને નેગેટિવ પ્રોમ્પ્ટિંગ
પ્રથમ પ્રયાસમાં જ તમે તેને સાચું કરી શકશો નહીં. ઇટરેટિવ રિફાઇનમેન્ટ એ વર્કફ્લોનું મુખ્ય ભાગ છે. અનેક વેરિએશન્સ જનરેટ કરો. જે ટાર્ગેટ આઈડેન્ટિટીની સૌથી નજીક હોય તેને પસંદ કરો. તે પસંદગીને નવી રેફરન્સ તરીકે વાપરો. આ એક ફીડબેક લૂપ બનાવે છે જે કન્સિસ્ટન્સીને વધુ મજબૂત બનાવે છે.
નેગેટિવ પ્રોમ્પ્ટિંગ અત્યંત જરૂરી છે. તમારે મોડેલને એવું કહેવું પડશે કે શું ન કરવું.
- તમારા નેગેટિવ પ્રોમ્પ્ટમાં સામાન્ય વિચલનોની યાદી બનાવો.
- "અલગ ચહેરો," "ખોટા વાળ," અથવા "જનરિક ફીચર્સ" જેવા શબ્દોનો સમાવેશ કરો.
- નવી પ્રકારની ભૂલો જોતાં જ નેગેટિવ પ્રોમ્પ્ટ અપડેટ કરો.
જો મોડેલ સતત પાત્રને અલગ નાકનો આકાર આપતું હોય, તો "wrong nose shape" નેગેટિવ પ્રોમ્પ્ટમાં ઉમેરો. આ ડ્રિફ્ટને સક્રિયપણે દબાવે છે.
કન્સિસ્ટન્સી તોડનારી સામાન્ય ભૂલો
મોટાભાગની કન્સિસ્ટન્સીની અસફળતાઓ ટૂલની મર્યાદાઓને કારણે નહીં, પરંતુ વર્કફ્લોની ભૂલોને કારણે થાય છે.
- પ્રોમ્પ્ટ્સ વચ્ચે પાત્રનું વર્ણન બદલવું.
- ફિઝિકલ ડિસ્ક્રિપ્ટર્સને બદલે અસ્પષ્ટ વિશેષણોનો ઉપયોગ કરવો.
- આઈડેન્ટિટીનું મૂલ્યાંકન કરતી વખતે લાઈટિંગ કોન્ટેક્સ્ટને અવગણવું.
- વિચલનો દબાવવા માટે નેગેટિવ પ્રોમ્પ્ટિંગનો ઉપયોગ ન કરવો.
- ઇટરેટિવ રિફાઇનમેન્ટ વગર પરફેક્ટ કન્સિસ્ટન્સીની અપેક્ષા રાખવી.
- એક જ રેફરન્સ ઈમેજનો ઉપયોગ કરવો જે લો ક્વોલિટી અથવા એમ્બિગ્યુઅસ હોય.
જો તમે આ ભૂલો કરો, તો કોઈ પણ ટૂલ તમને બચાવી શકશે નહીં. વર્કફ્લો અનુશાસિત હોવો જોઈએ. ટેક્સ્ટ ચોકસાઈપૂર્વક હોવો જોઈએ. રેફરન્સ સ્પષ્ટ હોવા જોઈએ. ઇટરેશન સતત ચાલુ રહેવું જોઈએ.