Tegelase järjepidevus säilib, kui määratled tekstis muutumatud tunnused ja kinnitad need visuaalsete referentsidega, seejärel kontrollid rangelt muutujaid nagu valgustus ja nurk. Saavutad selle, eraldades tegelase identiteedi stseeni kontekstist oma töövoos.
Tegelase nihke probleem generatiivses AI-s
Generatiivsed mudelid tõlgendavad viipeid probabilistlikult. Kui küsid konkreetset tegelast, valib mudel võimalike tõlgenduste jaotusest. Ilma piiranguteta on iga generatsioon uus juhuslik valik. Väikesed variatsioonid näo struktuuris, juuste tekstuuris või riietuse detailides kuhjuvad piltide vahel. See nihe tekib, sest mudel eelistab üldist kompositsiooni ja valgustust konkreetsete identiteeditunnuste asemel. Kui te ei piira aktiivselt väljundit, muutub tegelane üldiseks arhetüübiks, mitte konkreetseks isikuks.
Muutumatute tegelastunnuste määratlemine viipetes
Peate tuvastama tunnused, mis tegelast defineerivad, ja käsitlema neid läbirääkimatutena. Need on muutumatud tunnused. Need hõlmavad konkreetset näogeomeetriat, silmade värvi, juuste kuju ja unikaalseid riideesemeid. Ärge kirjeldage tegelast ebaselgete sõnadega nagu „lahe” või „müstiline”. Kirjeldage füüsilist reaalsust. Selle asemel, et öelda „karm välimus”, täpsustage „lühikesed püsitatud juuksed, arm vasaku kulmu kohal, kulunud nahkjakkk.”
- Loetlege muutumatud tunnused fikseeritud tekstiplokis.
- Hoidke see plokk igas viipes identne.
- Paigutage see plokk viipe algusesse, et anda sellele suur kaal.
- Vältige omadussõnu, mis viitavad mitmele tõlgendusele. Kasutage konkreetseid nimisõnu ja füüsilisi kirjeldusi.
Kui muudate juuste kirjeldust, võib mudel tõlgendada uut kirjeldust erineva tegelasena. Tekstiviipe on peamine ankur. Kui tekst on ebaselge, on pilt ebajärjekindel.
Referentspiltide ja stiili ankurate kasutamine
Tekst on sageli ebapiisav keerukate tegelaste jaoks. Visuaalsed referentsid pakuvad ruumilist ja stiilist ankrut. Laadite üles tegelase pildi, et suunata mudeli tõlgendust identiteedist. Siin sobivad konkreetsed tööriistad protsessi.
- Midjourney sobib siis, kui peate viitama konkreetsele tegelase pildile, et tagada järjepidevad näojooned ja stiil uutes generatsioonides.
- Adobe Firefly kasutatakse siis, kui peate üles laadima tegelase referentspildi, et suunata genereeritud piltide stiili ja identiteeti Creative Cloudi ökosüsteemis.
- Leonardo.Ai valitakse siis, kui peate lukustama konkreetsed tegelase tunnused ja esteetika mitme pildigeneratsiooni jaoks.
- Stable Diffusion rakendatakse täiustatud järjepidevuse saavutamiseks LoRA treenimisel tegelase andmestikel või ControlNeti kasutamisel poosi ja struktuuri lukustamiseks.
- Krea rakendatakse siis, kui peate üles laadima pildi, et säilitada tegelase identiteet ja stiil reaalajas toimival genereerimisel.
- Runway kasutatakse siis, kui peate säilitama tegelase järjepidevust videosekventside genereerimisel või staatiliste tegelasedisainide animeerimisel.
- DALL-E 3 toetub detailsetele ja konkreetsetele tekstipromptidele ning iteratiivsele täpsustamisele, kuna sellel puudub põlisfunktsioon pildireferentside jaoks.
Nende tööriistade kasutamisel hinnake väljundit selle järgi, kas näo struktuur vastab referentsile. Ärge hinnake seda selle järgi, kas stseen näeb hea välja. Kui nägu on vale, on stseen ebaoluline.
Valgustus- ja nurkavariatsioonide haldamine
Valgustus ja nurk on kõige levinumad tajutava ebajärjepidevuse põhjused. Tegelane eredal päikesepaistel näeb välja teisiti kui sama tegelane varjus. See ei ole triiv; see on füüsika. Mudelid tõlgendavad valgustusmuutusi siiski sageli identiteedimuutustena.
- Hoidke valgustuskirjeldus järjepidev, kui soovite, et tegelane näeks välja sama.
- Kui muudate nurka, oodake näojoonte nihkumist.
- Kasutage neutraalset valgustust tegelase lehtedel, et luua baasidentiteet.
- Rakendage draamatilist valgustust alles pärast seda, kui identiteet on lukustatud.
Kui genereerite tegelase tumedas tänavas ja seejärel eredal stuudios, võib mudel tõlgendada varje erinevate näostruktuuridena. Eraldage identiteet keskkonnast. Genereerige tegelane esmalt neutraalses kontekstis. Seejärel komponeerige või genereerige konkreetne keskkond.
Iteratiivne täpsustamine ja negatiivsed promptid
Esimene katse ei pruugi kohe õnnestuda. Iteratiivne lihvimine on tööprotsessi tuum. Genereerige mitu variatsiooni. Valige see, mis on kõige lähemal sihtidentiteedile. Kasutage seda valikut uue referentsina. See loob tagasisideahela, mis tihendab järjepidevust.
Negatiivne juhendamine on hädavajalik. Mudelile tuleb öelda, mida mitte teha.
- Loetlege negatiivses juhises sagedased kõrvalekalded.
- Kasutage termineid nagu "different face", "wrong hair" või "generic features".
- Värskendage negatiivset juhendit, kui ilmneb uusi veatüüpe.
Kui mudel annab tegelasele pidevalt erineva nina kuju, lisage negatiivsesse juhisesse "wrong nose shape". See pärsib aktiivselt kõrvalekaldeid.
Järjepidevust lõhkuvad levinud vead
Enamik järjepidevuse tõrkeid tuleneb tööprotsessi vigadest, mitte tööriistade piirangutest.
- Tegelase kirjelduse muutmine juhiste vahel.
- Häguste omadussõnade kasutamine füüsiliste kirjelduste asemel.
- Valgustuskonteksti eiramine identiteeti hinnates.
- Negatiivse juhendamise eiramine kõrvalekallete pärssimiseks.
- Täiusliku järjepidevuse ootamine ilma iteratiivse lihvimiseta.
- Ühe madala kvaliteediga või ebaselge referentspildi kasutamine.
Kui teete neid vigu, ei aita ükski tööriist. Tööprotsess peab olema distsiplineeritud. Tekst peab olema täpne. Referentsid peavad olema selged. Iteratsioon peab olema pidev.