Konzistencia postavy sa dosahuje definovaním nemenných znakov v texte a ich ukotvením vizuálnymi referenciami, pričom sa prísne kontrolujú premenné ako osvetlenie a uhol pohľadu. Dosiahnete to oddelením identity postavy od kontextu scény vo vašom pracovnom procese.
Problém driftu postavy v generatívnej AI
Generatívne modely interpretujú podnety pravdepodobnostne. Keď požadujete konkrétnu postavu, model vzorkuje z distribúcie možných interpretácií. Bez obmedzení je každá generácia novým hodom kockou. Malé variácie v štruktúre tváre, textúre vlasov alebo detailoch oblečenia sa naprieč obrázkami kumulujú. Tento drift nastáva preto, že model uprednostňuje celkovú kompozíciu a osvetlenie pred konkrétnymi identifikačnými znakmi. Ak výstup aktívne neobmedzíte, postava sa stane generickým archetypom namiesto konkrétnej jednotlivky.
Definovanie nemenných znakov postavy v podnetoch
Musíte identifikovať znaky, ktoré definujú postavu, a považovať ich za nenahraditeľné. To sú nemenné znaky. Zahŕňajú konkrétnu geometriu tváre, farbu očí, tvar vlasov a unikátne kusy oblečenia. Nepopisujte postavu vágnymi termínmi ako „cool“ alebo „mysterious“. Popisujte fyzickú realitu. Namiesto „drsný vzhľad“ špecifikujte „krátke ostrihané vlasy, jazva nad ľavým obočím, opotrebovaná kožená bunda.“
- Uveďte nemenné znaky v pevnom bloku textu.
- Tento blok ponechajte identický pre každý podnet.
- Umiestnite tento blok na začiatok podnetu, aby získal vysokú váhu.
- Vyhnite sa prídavným menám, ktoré implikujú viacero interpretácií. Používajte konkrétne podstatné mená a fyzické opisné výrazy.
Ak zmeníte popis vlasov, model môže nový popis interpretovať ako inú postavu. Textový podnet je primárnym kotvou. Ak je text nejednoznačný, obrázok bude nekonzistentný.
Používanie referenčných obrázkov a kotiev štýlu
Samotný text je pri komplexných postavách často nedostatočný. Vizuálne referencie poskytujú priestorový a štýlový kotvu. Nahrajete obrázok postavy, ktorý riadi interpretáciu identity modelom. Tu sa konkrétne nástroje zapájajú do procesu.
- Midjourney sa používa, keď potrebujete odkazovať na konkrétny obrázok postavy, aby ste zabezpečili konzistentné črty tváre a štýl naprieč novými generáciami.
- Adobe Firefly sa využíva, keď potrebujete nahrať referenčný obrázok postavy na usmernenie štýlu a identity generovaných obrázkov v rámci ekosystému Creative Cloud.
- Leonardo.Ai sa vyberá, keď potrebujete uzamknúť konkrétne črty postavy a estetiku naprieč viacerými generáciami obrázkov.
- Stable Diffusion sa využíva na pokročilú konzistenciu prostredníctvom trénovania LoRA na dátových súboroch postáv alebo použitím ControlNet na uzamknutie pózy a štruktúry.
- Krea sa aplikuje, keď potrebujete nahrať obrázok na udržanie identity a štýlu postavy pri generovaní v reálnom čase.
- Runway sa používa, keď potrebujete udržať konzistenciu postavy pri generovaní video sekvencií alebo animovaní statických návrhov postáv.
- DALL-E 3 sa spolieha na detailné, špecifické textové výzvy a iteratívne zdokonaľovanie na udržanie konzistencie postavy, keďže nemá natívnu funkciu referencie obrázka.
Pri používaní týchto nástrojov hodnotte výstup podľa toho, či štruktúra tváre zodpovedá referencii. Nehodnotte ho podľa toho, či scéna vyzerá dobre. Ak je tvár nesprávna, scéna je irelevantná.
Správa variácií osvetlenia a uhla
Osvetlenie a uhol sú najčastejšími príčinami vnímanej nekonzistencie. Postava v jasnom dennom svetle vyzerá inak ako tá istá postava v tieni. Toto nie je drift; je to fyzika. Modely však často interpretujú zmeny osvetlenia ako zmeny identity.
- Udržujte opis osvetlenia konzistentný, ak chcete, aby postava vyzerala rovnako.
- Ak zmeníte uhol, očakávajte posun čŕt tváre.
- Na vytvorenie základnej identity použite pri listoch postáv neutrálne osvetlenie.
- Dramatické osvetlenie aplikujte až po uzamknutí identity.
Ak vygenerujete postavu v tmavej uličke a potom vo svetlom štúdiu, model môže interpretovať tiene ako rôzne štruktúry tváre. Oddelte identitu od prostredia. Najprv vygenerujte postavu v neutrálnom kontexte. Potom skompozitujte alebo zadajte výzvu pre konkrétne prostredie.
Iteratívne zdokonaľovanie a negatívne výzvy
Na prvýkrát to nebude dokonalé. Iteratívne zdokonaľovanie je jadrom celého procesu. Vygenerujte viacero variácií. Vyberte tú, ktorá je najbližšie k cieľovej identite. Použite tento výber ako nový referenčný bod. Vznikne tak spätná väzba, ktorá zvýši konzistentnosť.
Negatívne zadanie je nevyhnutné. Modelu musíte povedať, čo nemá robiť.
- Uveďte bežné odchýlky v negatívnom prompte.
- Zahrňte pojmy ako „different face“, „wrong hair“ alebo „generic features“.
- Aktualizujte negatívny prompt podľa toho, ako sa objavujú nové typy chýb.
Ak model stále priraďuje postave inú tvar nosu, pridajte do negatívneho promptu „wrong nose shape“. Tým sa aktívne potlačí drift.
Bežné chyby, ktoré narúšajú konzistenciu
Väčšina problémov s konzistenciou vychádza z chýb v pracovnom procese, nie z obmedzení nástrojov.
- Meniť popis postavy medzi promptmi.
- Používať nejasné prídavné mená namiesto fyzických opisov.
- Ignorovať kontext osvetlenia pri posudzovaní identity.
- Nepoužívať negatívne promptovanie na potlačenie odchýlok.
- Očakávať dokonalú konzistenciu bez iteratívneho doladenia.
- Používať jednu referenčnú fotografiu nízkej kvality alebo nejednoznačnú.
Ak urobíte tieto chyby, žiadny nástroj vás nezachráni. Pracovný postup musí byť disciplinovaný. Text musí byť presný. Odkazy musia byť jasné. Iterácia musí byť nepretržitá.