Kaip išlaikyti nuoseklų apšvietimą kelių vaizdų AI sekose

Šviesos poslinkis atsiranda, kai nuosekliai generuojamuose dirbtinio intelekto modelio vaizduose pastebimi subtilūs, bet įtariantys skirtumai šviesos šaltinio padėtyje, ryškumo lygyje arba atspalvyje. Taip yra todėl, kad dauguma generatyviųjų modelių kiekvieną vaizdo generavimą traktuoja kaip nepriklausomą įvykį, optimizuodami vietinį kontrastą ir aiškumą, o ne bendrą tęstinumą. Generuojant antrąjį vaizdą, modelis gali šiek tiek kitaip interpretuoti „ryškų rytinį apšvietimą“ nei pirmąjį kartą, pakeisdamas saulės kampą arba padidindamas baltos spalvos balanso temperatūrą. Šis nesuderinamumas suardo vientisos scenos iliuziją, todėl seka atrodo išskaidyta, o ne vientisa. Norint tai išspręsti, apšvietimą reikia traktuoti ne kaip automatinį užklausos šalutinį produktą, o kaip griežtą apribojimą, apibrėžtą tekste ir sustiprintą vizualinėmis nuorodomis.

„Apšvietimo inkaro“ apibrėžimas pradiniame užklausoje

Geriausias būdas užtikrinti nuoseklumą – jau pirmajame užklausoje griežtai tekstiškai apibrėžti apšvietimo sąlygas. Šis apibrėžimas tampa „inkaru“ visiems vėlesniems vaizdams. Nesikliaukite neaiškiais apibūdinaisiais žodžiais, tokiais kaip „natūrali šviesa“ ar „šviesu ir erdvu“, kurie yra per daug bendri ir leidžia per daug interpretacijų. Vietoj to, tiksliai nurodykite šviesos šaltinio fizines charakteristikas, naudodami geometrinius ir spalvinius parametrus.

Turėtumėte apibrėžti tris konkrečius parametrus: kryptį, kokybę ir temperatūrą. Dėl krypties nurodykite tiksliai, iš kur kyla šviesa subjekto atžvilgiu, pvz., „šviesa, krintanti iš viršaus kairėje esančio kampo 45 laipsnių kampu“. Dėl kokybės atskirkite kietą ir minkštą šviesą apibūdindami šešėlių kraštų apibrėžtumą, pvz., „aštrūs, aštraus kontrasto šešėliai su minimalia sklaida“ prieš „minkšta, išsklaidyta šviesa su švelniais gradientiniais perėjimais“. Dėl temperatūros venkite subjektyvių terminų, tokių kaip „šilta“. Vietoj to, aprašykite atspalvio poslinkį lyginant su neutralia balta spalva, pvz., „šiek tiek auksinis atspalvis, būdingas vėlyvos popietės saulei“ arba „vėsi, mėlyna aplinkos šviesa ankstyvą rytą“. Užfiksavus šiuos tris kintamuosius į glaustą sakinį, kurį kopijuojate ir įklijuojate į kiekvieną tolesnį užklausą, pateikiate modeliui fiksuotą loginę struktūrą, kurią reikia laikytis, taip sumažindami jo interpretacijos atsitiktinumą.

Nuorodos į vaizdus naudojimas šešėlio krypčiai ir intensyvumui fiksuoti

Vien tekstas dažnai nepakanka tiksliam šviesos intensyvumui perteikti, nes modelio sąvokos „ryški“ interpretacija gali svyruoti priklausomai nuo kitų užklausos elementų. Tam kompensuoti naudokite nuorodos vaizdą kaip vizualinį inkarą. Ši technika reiškia konkretaus vaizdo, kuris atitinka norimas apšvietimo sąlygas, įkėlimą arba prijungimą, o tada nurodymą modeliui atkartoti šio nuorodos vaizdo apšvietimo schemą jūsų naujame objekte.

Renkant etaloninį vaizdą, pasirinkite tokį, kuriame yra aiškios, ryškios šešėlio sritys. Plokščias, tolygiai apšviestas vaizdas suteikia mažai informacijos apie šviesos kryptį ar intensyvumą, tuo tarpu vaizdas su ryškiomis kryptinėmis šviesomis suteikia modeliui aiškius geometrinius požymius. Įvedę etaloninį vaizdą, pridėkite glaustą instrukciją, atskiriančią turinį nuo apšvietimo. Pavyzdžiui, nurodykite modeliui „pritaikyti apšvietimo schemą iš etaloninio vaizdo naujam objektui“. Tai priverčia modelį pirmenybę teikti erdviniams ryšiams tarp šviesos šaltinių ir objektų, o ne konkrečioms pačio etaloninio vaizdo detalėms. Užtikrinkite, kad etaloninis vaizdas išliktų vienodas visoje sekos eigoje. Etaloninių vaizdų keitimas tarp generacijų įneša naujų kintamųjų, dėl ko iškart atsiranda nuokrypis. Susiejus kiekvieną generaciją su tuo pačiu vizualiniu pavyzdžiu, sukuriama vizualinė gramatika, kurią modelis kartoja skirtingiems objektams, taip užtikrinant, kad šešėlių ilgis ir tamsumas išliktų proporcingi nuo kadro iki kadro.

Metodai spalvų balanso nuoseklumui tarp kadrų sureguliuoti

Net jei kryptis ir intensyvumas yra nuoseklūs, spalvų temperatūra – šviesos šiluma arba vėsuma – gali kisti dėl vidinių modelio spalvų balanso algoritmų. Šie algoritmai dažnai bando koreguoti subjekto matomus spalvų atspalvius, dėl ko gali netyčia pasikeisti fono apšvietimo atspalvis. Norint išlaikyti temperatūros nuoseklumą, būtina atskirti apšvietimo spalvą nuo subjekto būdingų spalvų.

Viena veiksminga technika – apšvietimo spalvą nurodyti atskirai nuo scenos aprašymo. Vietoj to, kad apšvietimo aprašymą įterptumėte į pagrindinį pasakojimą, pabaigoje pridėkite atskirą apšvietimo sąlygą. Naudokite santykinius spalvų terminus, apibūdinančius ryšį tarp šviesos šaltinių, o ne absoliučias reikšmes. Pavyzdžiui, jei norite neutralios išvaizdos, nurodykite „neutralus spalvų balansas be dominuojančio atspalvio“. Jei norite šilumos, nurodykite „auksinės valandos šilumą be raudonų spalvų persotinimo“. Tai padeda išvengti to, kad modelis per daug kompensuotų scenos spalvas. Be to, jei kuriate seriją, kurioje keičiasi dienos metas, temperatūros pokytį aprašykite kaip gradientą, o ne kaip šuolį. Pavyzdžiui, pereikite nuo „vėsios rytinės mėlynos“ prie „neutralios vidurdienio baltos“ ir toliau prie „šilumos vakarinės aukso“ naudodami tarpinius apibūdinimus kiekvienam žingsniui. Taip sukuriate logišką progresiją, kurią modelis gali sekti, užtikrindamas, kad spalvų pokytis atrodytų apgalvotas ir sklandus, o ne chaotiškas.

Nesutampantių šviesos sričių ir šešėlių derinimas galutinėse kompozicijose

Nepaisant kruopštaus užklausų formulavimo, kartais gali atsirasti nesutapimų šviesos intensyvume arba šešėlių gylyje. Peržiūrėdami seką, ieškokite nesuderinamumų, kaip ryškios yra ryškiausios vaizdo dalys (šviesos sritys) ir kaip tamsūs yra giliausi šešėliai. Jei vienas vaizdas atrodi išblukęs, o kitas – gilus ir kontrastingas, vadinasi, apšvietimo intensyvumas pasikeitė.

Norint išspręsti šią problemą, pirmiausia patikrinkite užklausos ilgį. Ilgesnės, sudėtingesnės užklausos gali sumažinti konkrečių apšvietimo instrukcijų poveikį. Supaprastinkite užklausą pašalindami nereikalingus būdvardžius apie objektą ir sutelkdami dėmesį į apšvietimo dalį. Jei nukrypimas išlieka, pakoreguokite „stiprumo“ arba „įtakos“ nustatymus, jei jūsų įrankis tai leidžia, suteikdami didesnį svorį etaloninei nuotraukai, o ne tekstinei užklausai. Kita dažna problema – sudėtingas fonas; įvairiapusiai fonai gali priversti modelį koreguoti apšvietimą, kad objektas išsiskirtų, taip pakeičiant bendrą ekspoziciją. Norėdami tai ištaisyti, supaprastinkite fono aprašymą tolesnėse užklausose, naudodami terminus, tokius kaip „minimalistinis fonas“ arba „vienos spalvos fonas“, kad apšvietimas būtų nuspėjamas. Galiausiai, jei konkreti nuotrauka yra gerokai netiksli, sugeneruokite ją iš naujo naudodami ankstesnę sėkmingą nuotrauką kaip vienintelį apšvietimo etaloną, o ne tikėdamiesi tik originalios tekstinės užklausos. Toks iteracinis tikslinimas padeda grąžinti seką į nustatytą etaloną, užtikrinant vientisą vizualinį naratyvą.