Kiel doni instrukciojn al AI por rakonta videodaŭrigo

Vi tenas rakontan koheron starigante rigidan vidan ankron por roluloj kaj medioj, poste strikte kontrolante kameraajn poziciojn kaj lumigajn parametrojn tra ĉiu individua klipo. Tempora konsistenco en generaj videoj ne atingiĝas esperante, ke la modelo komprenas vian rakonton; ĝi atingiĝas traktante ĉian videoklipon kiel apartan bildigon de statika, antaŭdifinita vida stato.

La problemo de tempa diskontinueco en generaj videoj

Generaj modeloj por video funkcias per prognozo de kadroj surbaze de prompto kaj limigita kunteksta fenestro. Ili ne posedas konstantan memorion pri tio, kiu estis via rolulo en la antaŭa klipeto. Se vi generas kvinsekundan klipeton de virino marŝanta laŭ strato, kaj poste generas duan kvinsekundan klipeton de ŝi turniĝanta, la modelo traktas la duan prompton kiel novan, izolitan instrukcion. Sen eksplicitaj limigoj, ĝi verŝajne ŝanĝos ŝiajn vizaĝajn trajtojn, hararkoloron, teksturon de vestaĵo aŭ eĉ ŝian altecon. Tiu fenomeno estas temporala discontinuo. La modelo optimumigas por plausibleco ene de la nuna prompto, ne por fideleco al tutmonda rakonta identeco. Por solvi tion, vi devas foriri de naturlingvaj priskriboj, kiuj ebligas interpretadon, kaj orientiĝi al rigidaj, deklarativaj specifoj, kiuj ne lasas spacon por vario.

Difinado de la vida ankro: fiksado de priskriboj de rolulo kaj medio

Antaŭ ol generi iun ajn movadon, vi devas difini la vidan identecon de viaj subjektoj kaj fono kun absoluta precizeco. Kreu majstran priskribilon por ĉiu rolulo. Tiu priskribilo devas inkluzivi nemoveblajn atributojn: aĝo, etneco, specifaj vizaĝaj trajtoj (ekz. "forta makzelo, eta cikatro sur la maldekstra brovo"), harstilo kaj koloro, kaj vestaj detaloj ĝis la ŝablono kaj krojo. Ne uzu neklarajn terminojn kiel "malvarma vestaĵo" aŭ "mistera virino." Anstataŭe, specifiku "portante karbongrizan lanan mantelon, kun butonoj ĝis la kolo, kaj ruĝan silkan skarfpon." Skribu tiun priskribilon unufoje, kaj kopiu kaj pastu ĝin en ĉiun prompton rilatantan al tiu rolulo.

Por medioj, faru la sameon. Difinu la lokon per spacaj kaj teksturo-konstantoj. Se la sceno estas biblioteko, precizigu la tipon de ligno sur la bretoj, la koloron de la tapiŝo, kaj la pozicion de la ĉefa lumfonto. Tiuj priskriboj formas vian vidan ankron. Ili estas la statika fundamento, sur kiu konstruiĝas ĉiu movo. Se vi ŝanĝas priskribon inter klipoj, vi rompas kontinuecon. Se vi omisas priskribon, la modelo plenigos la spacon per sia propra statistika averaĝo, kiu diferencos de via antaŭa klipo.

Indikado de kameraa movado kaj spacaj rilatoj

Kameraa lingvo estas kie plej multaj rakontaj rompiĝoj okazas. Modeloj ofte interpremas "kamerao sekvas" aŭ "panoramu dekstren" ambigue, kondukante al subitaj saltoj en perspektivo aŭ orientiĝo. Vi devas eksplicite difini la pozicion, orientiĝon kaj movvektoron de la kamerao. Anstataŭ diri "la kamerao movas kun la rolulo", precizigu "statika meza plano, ok-nivelo, kamerao fiksita ĉe pozicio A, rolulo moviĝas de maldekstro dekstren tra la kadro." Se vi bezonas movan planon, difinu la vojon: "dolii antaŭen malrapide, konservante ok-nivelon, spurante la dorson de la rolulo."

Spacaj rilatoj devas esti ŝlositaj relative al la kamerao, ne nur relative unu al la alia. Se Rolulo A rigardas Rolulon B, precizigu iliajn relativajn poziciojn kaj orientiĝojn. "Rolulo A staras ĉe la maldekstra triono de la kadro, rigardante dekstren. Rolulo B staras ĉe la dekstra triono, rigardante maldekstren. Ili estas du metrojn for de unu la alian." Tiu geometria ŝlosado malhelpas la modelon interŝanĝi poziciojn aŭ ŝanĝi la angulon de interago inter planoj. uzu terminojn kiel "profilvidaĵo", "tri-kvarona vidaĵo" kaj "rekta fronta" por fiksi la orientiĝon de vizaĝoj kaj korpoj.

Administrado de konsisteco en lumigo kaj kolora ekvilibro

Lumigo estas la plej subtila sed kritika aspekto de kontinueco. Se la lumfonto ŝanĝas pozicion aŭ intensecon inter klipoj, la ombroj ŝoviĝos, igante la sekvencon ŝajni kiel du malsamaj filmoj. Difinu vian lumigan aranĝon en la ĉefa priskribo. Precizigu la ĉefan lumfonton (ekz. "unu supra fluoreska tubo, malvarma blanko, 4000K"), la direkton de la ombroj kaj la ambiancian plenlumon. Inkluzivi kolorajn gradigajn instrukciojn en ĉiu prompto. Se via rakonto estas noir, precizigu "akra kontrasto, desaturita paletro, teal kaj oranĝaj ombrotonoj." Se ĝi estas hela kaj gaja, precizigu "mola difuza taglumo, varmaj lumoj, malalta kontrasto." Ĉi tiuj gradigaj parametroj devas resti konstantaj tra ĉiuj klipoj en sceno. Se vi volas lumigan ŝanĝon por rakonta efiko, faru ĝin kiel konscia, promptita transiro, ne kiel hazarda drivo.

Ĉenado de klipoj: uzado de finaj kadroj kiel startaj kadroj

La plej efika tekniko por konservi kontinuecon tra klipoj estas ĉenado. Kiam generante sekvencon, eltiru la finan kadron de Klipo 1 kaj uzu ĝin kiel la startan kadron aŭ referencan bildon por Klipo 2. Tio devigas la modelon komenci sian generadon de la ekzakta vida stato kie la antaŭa klipo finiĝis. Eĉ se la teksto de la prompto iomete varias por la nova ago, la vida ankro de la starta kadro fiksas la aspekton de la rolulo, la lumigon kaj la kameraan pozicion. Ĉi tiu metodo estas supera al dependi sole de tekstaj promptoj por kontinueco ĉar ĝi preterpasas la probablan interpretadon de identecaj priskriboj fare de la modelo. Se via ilo subtenas bild-al-video aŭ ŝlosilkadra interpolado, uzu ĝin. Se ĝi ne faras, uzu la finan kadron kiel stila referenco aŭ inpainting limigo por certigi, ke la komenco de la sekva klipo kongruas kun la fino de la antaŭa.

Oftaj eraroj: tro-specifado de movado kontraŭ sub-specifado de kunteksto

Kreantoj ofte falas en du ekstremajn kaptilojn. La unua estas tro-specifado de movado. Se vi priskribas ĉiun mikromovadon de la korpo—"ŝi blinkas, ŝi ŝovas sian pezon, ŝia hararo svingas en la vento," la modelo fariĝas superŝarĝita kaj povas ignori la kernan agon aŭ generi fizike neeblajn rezultojn. Teni movadajn priskribojn je alta nivelo kaj kinetaj: "marŝas antaŭen," "turnas kapon," "levas brakon." Lasu la modelon priskribi la mikromekanikojn.

La dua estas nesufiĉa precizigo de kunteksto. Se vi dependas de la modelo por dedukti la identecon de la rolulo aŭ la lumigon de la sceno el nebula prompto, vi forlasas kontrolon. Vi ne povas supozi, ke la modelo memoros la rolulon el la antaŭa klipo, se vi ne reasertas la vidan ankron. Vi ne povas supozi, ke la lumigo restos konstanta, se vi ne eksplicite limigas ĝin. La regulo estas simpla: precizigu la nemoveblajn elementojn (identeco, lumigo, kameraa pozicio) kun ekstreme detala priskribo, kaj precizigu la variablojn (movado, ago) kun alta nivelo de koncizeco.