אתם שומרים על קוהרנטיות נרטיבית על ידי קביעת עוגן ויזואלי קשיח לדמויות ולסביבות, ולאחר מכן שליטה קפדנית בפרמטרים של מיקום המצלמה והתאורה בכל קליפ בנפרד. עקביות זמנית בסרטונים גנרטיביים אינה מושגת בתקווה שהמודל יבין את הסיפור שלכם; היא מושגת על ידי התייחסות לכל קליפ וידאו כהדמיה נפרדת של מצב ויזואלי סטטי ומוגדר מראש.
בעיית אי-הרצף הזמני בסרטונים גנרטיביים
מודלים גנרטיביים לסרטונים פועלים על ידי חיזוי פריימים בהתבסס על פרומפט וחלון הקשר מוגבל. אין להם זיכרון מתמשך של מי הייתה הדמות שלכם בקליפ הקודם. אם תייצרו קליפ באורך חמש שניות של אישה ההולכת ברחוב, ואז תייצרו קליפ שני באורך חמש שניות של ההסתובבות שלה, המודל מתייחס לפרומפט השני כהוראה חדשה ומבודדת. ללא אילוצים מפורשים, סביר להניח שהוא ישנה את תווי הפנים שלה, צבע השיער, מרקם הבגדים או אפילו את גובהה. תופעה זו היא אי-הרצף הזמני. המודל ממקסם סבירות בתוך הפרומפט הנוכחי, ולא נאמנות לזהות נרטיבית גלובלית. כדי לפתור זאת, עליכם לעבור מתיאורים בשפה טבעית המאפשרים פרשנות, למפרטים הצהרתיים וקשיחים שאינם משאירים מקום לשונות.
הגדרת העוגן הויזואלי: נעילת מתארי דמויות וסביבה
לפני יצירת כל תנועה, עליכם להגדיר את הזהות הויזואלית של הנושאים והסביבה בדיוק מוחלט. צרו מתאר ראשי לכל דמות. מתאר זה צריך לכלול תכונות בלתי משתנות: גיל, מוצא אתני, תווי פנים ספציפיים (למשל, "לסת חזקה, צלקת קלה על הגבה השמאלית"), סגנון וצבע השיער, ופרטי לבוש עד לרמת הדפס והגזרה. אל תשתמשו במונחים כלליים כמו "לבוש מגניב" או "אישה מסתורית". במקום זאת, ציינו "לובשת מעיל צמר אפור פחם, סגור עד הצוואר, עם צעיף משי אדום". כתבו מתאר זה פעם אחת, והעתיקו-הדביקו אותו לכל פרומפט הכולל את אותה דמות.
עבור סביבות, יש לפעול באותה manner. הגדירו את המיקום באמצעות קבועים מרחביים ומרקמיים. אם הסצנה היא ספרייה, ציינו את סוג העץ על המדפים, את צבע השטיח ואת מיקום מקור האור הראשי. המתארים הללו מהווים את העוגן החזותי שלכם. הם הבסיס הסטטי שעליו נבנית כל תנועה. אם תשנו מתאר בין קטעי וידאו, תפגעו ברצף. אם תשמיטו מתאר, המודל ימלא את החסר באמצעות הממוצע הסטטיסטי שלו, שישונה מהקטע הקודם.
הנחיית תנועת מצלמה ויחסים מרחביים
שפת המצלמה היא המקום שבו מתרחשות רוב השברים הנרטיביים. מודלים מפרשים לעיתים קרובות את הביטויים "camera follows" או "pan right" באופן דו-משמעי, מה שמוביל לקפיצות פתאומיות בפרספקטיבה או באוריינטציה. יש להגדיר במפורש את מיקום המצלמה, האוריינטציה שלה ווקטור התנועה שלה. במקום לומר "the camera moves with the character", יש לציין: "static medium shot, eye-level, camera fixed at position A, character moves from left to right across the frame". אם נדרשת לך צילום נע, הגדר את המסלול: "dolly forward slowly, maintaining eye-level, tracking the character’s back".
היחסים המרחביים חייבים להיות נעולים ביחס למצלמה, ולא רק זה לזה. אם הדמות A פונה אל הדמות B, יש לציין את המיקום והכיוון היחסיים שלהן. "הדמות A עומדת בשליש השמאלי של הפריים, פונה ימינה. הדמות B עומדת בשליש הימני, פונה שמאלה. הן במרחק של שני מטרים זו מזו." נעילה גיאומטרית זו מונעת מהמודל להחליף מיקומים או לשנות את זווית המפגש בין הצילומים. יש להשתמש במונחים כמו "תצוגת פרופיל", "תצוגת שלושה-רבעים" ו"חזית ישירה" כדי לקבע את האוריינטציה של הפנים והגוף.
ניהול עקביות בתאורה ובעיבוד צבע
התאורה היא ההיבט העדין אך הקריטי ביותר ברציפות. אם מקור האור משנה מיקום או עוצמה בין קטעים, הצללים יזוזו, מה שיגרום לרצף להיראות כמו שני סרטים שונים. הגדירו את תצורת התאורה בתיאור הראשי (Master Descriptor). ציינו את מקור האור העיקרי (למשל, "צינור פלואורסצנטי יחיד בתקרה, לבן קר, 4000K"), את כיוון הצללים ואת אור המילוי הסביבתי. שלבו הוראות לעיבוד צבע (Color Grading) בכל פרומפט. אם הנרטיב הוא בסגנון נואר, ציינו "ניגודיות חדה, פלטת צבעים דהויה, גווני צל בטורקיז וכתום". אם הוא בהיר ושמח, ציינו "אור יום רך ומפוזר, הבלטות חמות, ניגודיות נמוכה". פרמטרי העיבוד חייבים להישאר קבועים בכל הקטעים בסצנה. אם ברצונכם שינוי תאורה למען אפקט נרטיבי, בצעו זאת כמעבר מכוון ומפורש, ולא כסטייה מקרית.
שרשור קטעים: שימוש בפריימים סופיים כפריימים התחלתיים
הטכניקה היעילה ביותר לשמירה על רציפות בין קטעים היא שרשור. בעת יצירת רצף, חלצו את הפריים האחרון של קטע 1 והשתמשו בו כפריים ההתחלתי או כתמונת ייחוס עבור קטע 2. זה מכריח את המודל להתחיל את היצירה מהמצב הוויזואלי המדויק שבו הסתיים הקטע הקודם. גם אם טקסט הפרומפט משתנה מעט עבור הפעולה החדשה, העוגן הוויזואלי של הפרים ההתחלתי נועל את מראה הדמות, התאורה ומיקום המצלמה. שיטה זו עדיפה על הסתמכות אך ורק על פרומפטים טקסטואליים לרציפות, מכיוון שהיא עוקפת את הפרשנות ההסתברותית של המודל לתיאורי זהות. אם הכלי שלכם תומך בהמרת תמונה לוידאו או באינטרפולציה של פריימים מפתח, השתמשו בכך. אם לא, השתמשו בפרים הסופי כהפניה לסגנון או כאילוץ ל-Inpainting כדי להבטיח שהתחלת הקטע הבא תתאים לסיום הקטע הקודם.
טעויות נפוצות: פירוט יתר של תנועה מול פירוט חסר של הקשר
יוצרים רבים נופלים לשני מלכודות קיצוניות. הראשונה היא פירוט יתר של תנועה. אם אתם מתארים כל תנועה מיקרוסקופית של הגוף – "היא מצמצמצת, היא מעבירה את משקל גופה, שיערה מתנדנד ברוח" – המודל עלול להעמס יתר על המידה ולתעלם מהפעולה המרכזית או לייצר תוצאות בלתי אפשריות מבחינה פיזיקלית. שמרו על תיאורי תנועה ברמה גבוהה וקינטית: "הולכת קדימה", "מסובבת ראש", "מרימה יד". הניחו למודל לטפל במנגנונים המיקרוסקופיים.
השנייה היא הגדרת הקשר בצורה לא מספקת. אם אתם מסתמכים על המודל כדי להסיק את זהות הדמות או את תאורת הסצנה מתוך הנחיה כללית, אתם מוותרים על השליטה. אין להניח שהמודל יזכור את הדמות מהקטע הקודם אם לא תציגו מחדש את עוגן החזותי. אין להניח שהתאורה תישאר עקבית אם לא תגבילו אותה במפורש. הכלל פשוט: הגדירו את הבלתי משתנה (זהות, תאורה, מיקום מצלמה) בפירוט קיצוני, והגדירו את המשתנה (תנועה, פעולה) בקצרה ברמה גבוהה.