A karakterkonzisztenciát úgy érjük el, hogy a szövegben meghatározott, változatlan jellemzőket rögzítünk, vizuális referenciákkal horgonyozzuk meg őket, majd szigorúan kontrolláljuk a változókat, mint a fényviszonyok és a szögek. Ezt úgy érik el, hogy a munkafolyamatban elkülönítik a karakter identitását a jelenet kontextusától.
A karaktereltolódás problémája generatív AI-ban
A generatív modellek valószínűségi alapon értelmezik a promptokat. Amikor egy konkrét karaktert kér, a modell a lehetséges értelmezések eloszlásából mintavételez. Korlátozások nélkül minden generálás új dobás a kockával. Kis eltérések az arc szerkezetében, a haj textúrájában vagy a ruházati részletekben halmozódnak fel a képek között. Ez az eltolódás azért történik, mert a modell az általános kompozíciót és a megvilágítást részesíti előnyben a konkrét identitást jelző ismérvekkel szemben. Ha nem korlátozza aktívan a kimenetet, a karakter általános archetíppussá válik, nem pedig konkrét egyénné.
Változatlan karakterjellemzők meghatározása a promptokban
Meg kell határoznia a karaktert meghatározó jellemzőket, és ezeket tárgyalhatatlanként kell kezelnie. Ezek a változatlan jellemzők. Ide tartozik a konkrét arcgeometria, a szem színe, a haj formája és az egyedi ruházati elemek. Ne írja le a karaktert olyan homályos kifejezésekkel, mint „hűvös” vagy „misztikus”. Írja le a fizikai valóságot. A „durva megjelenés” helyett használja ezt: „rövidre vágott haj, heg a bal szemöldök felett, kopott bőrdzseki.”
- Sorolja fel a változatlan jellemzőket egy rögzített szövegblokkban.
- Tartsa ezt a blokkot minden promptban azonosan.
- Helyezze ezt a blokkot a prompt elejére, hogy nagyobb súlyt kapjon.
- Kerülje a többféle értelmezést lehetővé tevő mellékneveket. Használjon konkrét főneveket és fizikai leírókat.
Ha megváltoztatja a haj leírását, a modell az új leírást eltérő karakterként értelmezheti. A szöveges prompt a fő horgony. Ha a szöveg kétértelmű, a kép inkonzisztens lesz.
Referenciaképek és stílushorgonyok használata
Csak szöveg gyakran nem elegendő összetett karakterek esetén. A vizuális referenciák térbeli és stílusbeli horgonyt biztosítanak. Feltölt egy képet a karakterről, hogy irányítsa a modell identitásértelmezését. Itt illeszkednek be a folyamatba a konkrét eszközök.
- Midjourney akkor jön szóba, ha konkrét karakterképet kell hivatkozásként használni az arcvonások és a stílus konzisztenciájának biztosításához új generálások során.
- Adobe Firefly akkor használható, ha karakterreferencia-képet kell feltölteni a generált képek stílusának és identitásának irányításához a Creative Cloud ökoszisztémán belül.
- Leonardo.Ai akkor választandó, ha konkrét karakterjellemzőket és esztétikát kell rögzíteni több képgenerálás során.
- Stable Diffusion haladó konzisztencia érdekében LoRA betanítására használható karakter-adathalmazokon, vagy ControlNet alkalmazható a póz és a struktúra rögzítésére.
- Krea akkor alkalmazható, ha képet kell feltölteni a karakter identitásának és stílusának megőrzéséhez valós idejű generálás közben.
- Runway akkor használható, ha karakterkonzisztenciát kell fenntartani videoszekvenciák generálásakor vagy statikus karaktertervek animálásakor.
- DALL-E 3 akkor támaszkodható rá, ha karakterkonzisztenciát kell fenntartani részletes, konkrét szöveges promptokon és iteratív finomításon keresztül, mivel nincs natív kép-hivatkozási funkciója.
Ezen eszközök használatakor az eredményt az alapján ítélje meg, hogy az arckifejezés megegyezik-e a referenciával. Ne azt ítélje meg, hogy a jelenet jól néz-e ki. Ha az arc rossz, a jelenet lényegtelen.
Világítás és szögváltozások kezelése
A világítás és a szög a leggyakoribb okai az észlelt inkonzisztenciának. Egy karakter másképp néz ki erős nappali fényben, mint ugyanaz a karakter árnyékban. Ez nem eltolódás; ez fizika. A modellek azonban gyakran úgy értelmezik a világításváltozásokat, mint identitásváltozásokat.
- Tartsa konzisztensen a világítás leírását, ha azt szeretné, hogy a karakter ugyanúgy nézzen ki.
- Ha megváltoztatja a szöget, számítson arra, hogy az arcvonások eltolódnak.
- Használjon semleges világítást karakterlapokhoz az alapidentitás meghatározásához.
- Drámai világítást csak az identitás rögzítése után alkalmazzon.
Ha egy karaktert sötét sikátorban, majd egy világos stúdióban generál, a modell az árnyékokat eltérő arckifejezésként értelmezheti. Válassza szét az identitást és a környezetet. Először generálja a karaktert semleges kontextusban. Ezután kompozitálja vagy promptolja a konkrét környezetet.
Iteratív finomítás és negatív promptolás
You nem fogod elsőre eltalálni. Az iteratív finomhangolás a munkafolyamat magja. Generálj több variációt. Válaszd ki azt, amelyik a legközelebb áll a célidentitáshoz. Használd ezt a kiválasztottat új referenciaként. Ez visszacsatolási hurkot hoz létre, amely szorosabbá teszi a konzisztenciát.
A negatív promptolás elengedhetetlen. Meg kell mondanod a modellnek, mit ne csináljon.
- Sorold fel a gyakori eltéréseket a negatív promptban.
- Használj olyan kifejezéseket, mint "másik arc", "rossz haj" vagy "általános vonások".
- Frissítsd a negatív promptot, ahogy új hibatípusokat észlelsz.
Ha a modell folyamatosan más orrformát ad a karakternek, add hozzá a "rossz orrforma" kifejezést a negatív prompthoz. Ez aktívan csökkenti az eltérést.
A konzisztenciát törő gyakori hibák
A legtöbb konzisztencia-hiba munkafolyamat-beli hibákból ered, nem az eszközök korlátaiból.
- A karakterleírás megváltoztatása a promptok között.
- Homályos jelzők használata fizikai leírók helyett.
- A fényviszonyok figyelmen kívül hagyása az identitás megítélésénél.
- A negatív promptolás mellőzése az eltérések csökkentésére.
- Tökéletes konzisztencia várása iteratív finomhangolás nélkül.
- Egyetlen, alacsony minőségű vagy kétértelmű referenciakép használata.
Ha ezeket a hibákat elköveted, egyetlen eszköz sem ment meg. A munkafolyamatnak szigorúnak kell lennie. A szövegnek pontosnak kell lennie. A referenciáknak tisztának kell lenniük. Az iterációnak folyamatosnak kell lennie.