Kaip formuluoti užklausas AI nuosekliam personažo dizainui

Personažo nuoseklumas išlaikomas apibrėžiant nekintamus bruožus tekste ir juos sutvirtinant vizualinėmis nuorodomis, o tada griežtai kontroliuojant tokius kintamuosius kaip apšvietimas ir kampas. Tai pasiekiama savo darbo eigoje atskiriant personažo tapatybę nuo scenos konteksto.

Personažo nuokrypio problema generatyviajame AI

Generatyvieji modeliai interpretuoja užklausas tikimybiškai. Kai prašote konkretaus personažo, modelis imkluoja iš galimų interpretacijų skirstinio. Be apribojimų kiekviena generacija yra naujas kauliukų metimas. Maži veido struktūros, plaukų tekstūros ar drabužių detalių pokyčiai kaupiasi per kelis vaizdus. Šis nuokrypis atsiranda todėl, kad modelis pirmenybę teikia bendrai kompozicijai ir apšvietimui, o ne konkrečioms tapatybės žymenims. Jei aktyviai neapribojate rezultato, personažas tampa bendru archetipu, o ne konkrečiu individumu.

Nekintamų personažo bruožų apibrėžimas užklausose

Privalote identifikuoti bruožus, kurie apibrėžia personažą, ir laikyti juos nekeičiamais. Tai yra nekintami bruožai. Jie apima konkrečią veido geometriją, akių spalvą, plaukų formą ir unikalius drabužių elementus. Neaprašykite personažo miglotais terminais, tokiais kaip „šaunus“ ar „paslaptingas“. Aprašykite fizinę realybę. Vietoj „atšiaurus įvaizdis“ nurodykite „trumpai kirpti plaukai, randas virš kairiojo antakio, nusidėvėjusi odinė striukė“.

• Išvardykite nekintamus bruožus fiksuotame teksto bloke.
• Laikykite šį bloką identišką kiekvienoje užklausoje.
• Dėkite šį bloką užklausos pradžioje, kad jam būtų suteiktas didesnis svoris.
• Venkite būdvardžių, kurie leidžia kelias interpretacijas. Naudokite konkrečius daiktavardžius ir fizinius apibūdinimus.

Jei pakeisite plaukų aprašymą, modelis naują aprašymą gali interpretuoti kaip kitą personažą. Tekstinė užklausa yra pagrindinis inkaras. Jei tekstas miglotas, vaizdas bus nekonsekventus.

Nuorodinių vaizdų ir stiliaus inkarų naudojimas

Vien teksto dažnai nepakanka sudėtingiems personažams. Vizualinės nuorodos suteikia erdvinį ir stilistinį inkarą. Įkeliate personažo vaizdą, kad padėtumėte modeliui interpretuoti tapatybę. Čia į procesą įsitraukia specifiniai įrankiai.

• Midjourney tinka, kai reikia remtis konkrečia veikėjo nuotrauka, kad užtikrintumėte pastovius veido bruožus ir stilių naujose generacijose.
• Adobe Firefly naudojamas, kai reikia įkelti veikėjo pavyzdinę nuotrauką, kad Creative Cloud ekosistemoje būtų galima valdyti generuojamų vaizdų stilių ir tapatybę.
• Leonardo.Ai pasirenkamas, kai reikia fiksuoti konkrečius veikėjo bruožus ir estetiką keliose vaizdų generacijose.
• Stable Diffusion naudojamas pažangiam nuoseklumui užtikrinti per LoRA mokymą iš veikėjo duomenų rinkinių arba naudojant ControlNet pozos ir struktūros fiksavimui.
• Krea taikomas, kai reikia įkelti vaizdą, kad realiuoju laiku generuojant būtų išlaikytas veikėjo identitetas ir stilius.
• Runway naudojamas, kai reikia išlaikyti veikėjo nuoseklumą generuojant vaizdo sekas arba animuojant statinius veikėjo dizainus.
• DALL-E 3 pasirenkamas, kai reikia išlaikyti veikėjo nuoseklumą naudojant išsamius, konkrečius tekstinius užklausimus ir iteracinį tobulinimą, nes jam trūksta natyvios vaizdo pavyzdžio funkcijos.

Naudodami šiuos įrankius, vertinkite rezultatą pagal tai, ar veido struktūra atitinka pavyzdį. Nevertinkite pagal tai, ar scena atrodo gerai. Jei veidas neteisingas, scena yra nereikšminga.

Apšvietimo ir kampo variacijų valdymas

Apšvietimas ir kampas yra dažniausios suvokiamo neatitikimo priežastys. Veikėjas ryškioje dienos šviesoje atrodo kitaip nei tas pats veikėjas šešėlyje. Tai nėra nuokrypis; tai fizika. Tačiau modeliai dažnai interpretuoja apšvietimo pokyčius kaip tapatybės pokyčius.

• Jei norite, kad veikėjas atrodytų taip pat, išlaikykite nuoseklų apšvietimo aprašymą.
• Jei keičiate kampą, tikėkitės, kad veido bruožai pasikeis.
• Naudokite neutralų apšvietimą veikėjo lapuose, kad nustatytumėte bazinį identitetą.
• Dramatišką apšvietimą taikykite tik tada, kai identitetas jau fiksuotas.

Jei sugeneruojate veikėją tamsioje gatvėje, o tada – ryškioje studijoje, modelis gali interpretuoti šešėlius kaip skirtingas veido struktūras. Atskirkite identitetą nuo aplinkos. Pirmiausia sugeneruokite veikėją neutralioje aplinkoje. Tada kompozituokite arba užklausa konkrečią aplinką.

Iteracinis tobulinimas ir neigiamos užklausos

Pirmą kartą viskas nepavyks. Iteracinis tobulinimas yra pagrindinė darbo eigos dalis. Sugeneruokite kelis variantus. Pasirinkite tą, kuris labiausiai atitinka tikslinį identitetą. Naudokite šį pasirinkimą kaip naują etaloną. Taip sukuriama grįžtamojo ryšio kilpa, kuri stiprina nuoseklumą.

Neigiamas užklausimas yra būtinas. Modeliui reikia nurodyti, ko daryti nereikia.

• Sąraše pateikite dažniausiai pasitaikančius nukrypimus neigiamo užklausimo dalyje.
• Įtraukite tokius terminus kaip "skirtingas veidas", "neteisingi plaukai" arba "bendros bruožai".
• Atnaujinkite neigiamą užklausimą, kai pastebite naujų klaidų tipų.

Jei modelis visada suteikia veikėjui kitokią nosies formą, į neigiamą užklausimą įtraukite "neteisinga nosies forma". Tai aktyviai slopina nukrypimus.

Dažnos klaidos, ardančios nuoseklumą

Dauguma nuoseklumo sutrikimų kyla dėl darbo eigos klaidų, o ne dėl įrankių apribojimų.

• Veikėjo aprašymo keitimas tarp užklausų.
• Neaiškių būdvardžių naudojimas vietoj fizinių aprašomųjų žodžių.
• Apšvietimo konteksto ignoravimas vertinant identitetą.
• Neigiamo užklausimo nenaudojimas nukrypimams slopinti.
• Tikėjimas tobulu nuoseklumu be iteracinio tobulinimo.
• Vieno žemos kokybės arba neaiškaus etaloninio vaizdo naudojimas.

Jei padarysite šias klaidas, joks įrankis nepadės. Darbo eiga turi būti disciplinuota. Tekstas turi būti tikslus. Etalonai turi būti aiškūs. Iteracija turi būti nuolatinė.