Vous maintenez la cohérence narrative en établissant une ancre visuelle rigide pour les personnages et les environnements, puis en contrôlant strictement la position de la caméra et les paramètres d’éclairage sur chaque clip individuel. La cohérence temporelle dans la vidéo générative n’est pas obtenue en espérant que le modèle comprenne votre histoire ; elle est obtenue en traitant chaque clip vidéo comme un rendu discret d’un état visuel statique et prédéfini.
Le problème de la discontinuité temporelle dans la vidéo générative
Les modèles vidéo génératifs fonctionnent en prédisant des images à partir d'une invite et d'une fenêtre de contexte limitée. Ils ne possèdent pas de mémoire persistante de qui était votre personnage dans le clip précédent. Si vous générez un clip de cinq secondes d'une femme marchant dans une rue, puis un second clip de cinq secondes où elle se retourne, le modèle traite la seconde invite comme une nouvelle instruction isolée. Sans contraintes explicites, il modifiera probablement ses traits du visage, sa couleur de cheveux, la texture de ses vêtements, ou même sa taille. Ce phénomène est une discontinuité temporelle. Le modèle optimise la plausibilité au sein de l'invite actuelle, et non la fidélité à une identité narrative globale. Pour résoudre ce problème, vous devez vous éloigner des descriptions en langage naturel qui permettent l'interprétation, et vous orienter vers des spécifications déclaratives rigides qui ne laissent aucune place à la variation.
Définir l’ancrage visuel : verrouiller les descripteurs du personnage et de l’environnement
Avant de générer tout mouvement, vous devez définir avec une précision absolue l’identité visuelle de vos sujets et de leur environnement. Créez un descripteur maître pour chaque personnage. Ce descripteur doit inclure des attributs immuables : âge, origine ethnique, traits faciaux spécifiques (par exemple, « mâchoire marquée, légère cicatrice sur le sourcil gauche »), coiffure et couleur des cheveux, ainsi que les détails vestimentaires jusqu’au motif et à la coupe. N’utilisez pas de termes vagues comme « tenue cool » ou « femme mystérieuse ». Précisez plutôt : « portant un manteau en laine gris anthracite, boutonné jusqu’au cou, avec une écharpe en soie rouge ». Rédigez ce descripteur une seule fois, puis copiez-le et collez-le dans chaque prompt impliquant ce personnage.
Pour les environnements, appliquez la même méthode. Définissez le lieu avec des constantes spatiales et texturales. Si la scène est une bibliothèque, précisez le type de bois des étagères, la couleur de la moquette et la position de la source lumineuse principale. Ces descripteurs constituent votre ancre visuelle. Ils forment la base statique sur laquelle tout mouvement est construit. Si vous modifiez un descripteur entre les clips, vous rompez la continuité. Si vous omettez un descripteur, le modèle comblera le vide avec sa propre moyenne statistique, qui différera de celle de votre clip précédent.
Indiquer les mouvements de caméra et les relations spatiales
Le langage de caméra est là où surviennent la plupart des ruptures narratives. Les modèles interprètent souvent « la caméra suit » ou « panoramique droit » de manière ambiguë, entraînant des sauts soudains de perspective ou d'orientation. Vous devez définir explicitement la position, l'orientation et le vecteur de mouvement de la caméra. Au lieu de dire « la caméra bouge avec le personnage », précisez « plan moyen statique, hauteur d'œil, caméra fixe à la position A, le personnage se déplace de gauche à droite dans le cadre ». Si vous avez besoin d'un plan en mouvement, définissez le trajet : « travelling avant lent, en maintenant la hauteur d'œil, en suivant le dos du personnage ».
Les relations spatiales doivent être verrouillées par rapport à la caméra, et non seulement entre elles. Si le Personnage A fait face au Personnage B, précisez leurs positions et orientations relatives. « Le Personnage A se tient au tiers gauche du cadre, tourné vers la droite. Le Personnage B se tient au tiers droit, tourné vers la gauche. Ils sont séparés de deux mètres. » Ce verrouillage géométrique empêche le modèle d'inverser les positions ou de modifier l'angle d'engagement entre les plans. Utilisez des termes comme « vue de profil », « vue trois-quarts » et « vue frontale directe » pour fixer l'orientation des visages et des corps.
Gérer la cohérence de l'éclairage et de l'étalonnage colorimétrique
L'éclairage est l'aspect le plus subtil mais crucial de la continuité. Si la source de lumière change de position ou d'intensité entre les clips, les ombres se déplacent, donnant à la séquence l'impression de provenir de deux films différents. Définissez votre configuration d'éclairage dans le descripteur principal. Précisez la source de lumière principale (par exemple, « tube fluorescent au plafond unique, blanc froid, 4000K »), la direction des ombres et la lumière d'appoint ambiante. Incluez des instructions d'étalonnage des couleurs dans chaque prompt. Si votre narration est de type noir, spécifiez « contraste marqué, palette désaturée, tons d'ombre bleu canard et orange ». Si elle est lumineuse et joyeuse, spécifiez « lumière du jour douce et diffuse, hautes lumières chaudes, faible contraste ». Ces paramètres d'étalonnage doivent rester constants sur tous les clips d'une scène. Si vous souhaitez un changement d'éclairage pour un effet narratif, faites-en une transition délibérée et spécifiée dans le prompt, et non une dérive accidentelle.
Enchaînement des clips : utiliser les images finales comme images de départ
La technique la plus efficace pour maintenir la continuité entre les clips est l'enchaînement. Lors de la génération d'une séquence, extrayez la dernière image du Clip 1 et utilisez-la comme image de départ ou image de référence pour le Clip 2. Cela force le modèle à commencer sa génération à partir de l'état visuel exact où le clip précédent s'est terminé. Même si le texte du prompt varie légèrement pour la nouvelle action, l'ancre visuelle de l'image de départ verrouille l'apparence du personnage, l'éclairage et la position de la caméra. Cette méthode est supérieure à la seule reliance sur les prompts textuels pour la continuité, car elle contourne l'interprétation probabiliste des descripteurs d'identité par le modèle. Si votre outil prend en charge la conversion image-vers-vidéo ou l'interpolation d'images clés, utilisez-la. Sinon, utilisez l'image finale comme référence de style ou contrainte d'inpainting pour garantir que le début du clip suivant corresponde à la fin du précédent.
Erreurs courantes : sur-spécifier le mouvement contre sous-spécifier le contexte
Les créateurs tombent souvent dans deux pièges extrêmes. Le premier consiste à sur-spécifier le mouvement. Si vous décrivez chaque micro-mouvement du corps – « elle cligne des yeux, elle déplace son poids, ses cheveux bougent dans le vent » –, le modèle est submergé et peut ignorer l'action principale ou générer des résultats physiquement impossibles. Gardez les descriptions de mouvement générales et cinétiques : « marche en avant », « tourne la tête », « lève le bras ». Laissez le modèle gérer les micro-mécanismes.
La seconde consiste à sous-spécifier le contexte. Si vous comptez sur le modèle pour déduire l’identité du personnage ou l’éclairage de la scène à partir d’une invite vague, vous perdez le contrôle. Vous ne pouvez pas supposer que le modèle se souviendra du personnage du clip précédent si vous ne reformulez pas l’ancrage visuel. Vous ne pouvez pas supposer que l’éclairage restera cohérent si vous ne le contraignez pas explicitement. La règle est simple : spécifiez l’immuable (identité, éclairage, position de caméra) avec un détail extrême, et spécifiez le variable (mouvement, action) avec une brièveté de haut niveau.