캐릭터의 일관성은 텍스트 내에서 불변하는 특성을 정의하고 시각적 참조로 이를 고정하며, 조명과 각도 같은 변수를 엄격하게 통제함으로써 유지됩니다. 워크플로우에서 캐릭터의 정체성과 장면의 맥락을 분리하여 이를 달성할 수 있습니다.
생성형 AI에서의 캐릭터 드리프트 문제
생성형 모델은 프롬프트를 확률적으로 해석합니다. 특정 캐릭터를 요청하면 모델은 가능한 해석의 분포에서 샘플링합니다. 제약 조건이 없으면 각 생성은 새로운 주사위 던지기가 됩니다. 얼굴 구조, 머리 질감 또는 의상 세부 사항의 작은 변형이 이미지 전반에 걸쳐 누적됩니다. 이러한 드리프트는 모델이 구체적인 정체성 표지보다 전체적인 구성과 조명을 우선시하기 때문에 발생합니다. 출력값을 능동적으로 제한하지 않으면 캐릭터는 구체적인 개인이 아닌 일반적인 원형이 됩니다.
프롬프트에서 불변하는 캐릭터 특성 정의하기
캐릭터를 정의하는 특성을 식별하고 이를 협상 불가능한 것으로 취급해야 합니다. 이것이 바로 불변하는 특성입니다. 여기에는 구체적인 얼굴 기하학, 눈동자 색, 머리 모양 및 독특한 의상 항목이 포함됩니다. "멋진"이나 "신비로운"과 같은 모호한 용어로 캐릭터를 설명하지 마세요. 물리적 현실을 설명하세요. "거친 외모" 대신 "짧게 친 머리, 왼쪽 눈썹 위의 흉터, 낡은 가죽 재킷"이라고 구체적으로 명시하세요.
- 불변하는 특성을 고정된 텍스트 블록으로 나열하세요.
- 이 블록을 모든 프롬프트에서 동일하게 유지하세요.
- 높은 가중치를 부여하기 위해 이 블록을 프롬프트 시작 부분에 배치하세요.
- 여러 해석을 암시하는 형용사를 피하세요. 구체적인 명사와 물리적 묘사어를 사용하세요.
머리 모양에 대한 설명을 변경하면 모델은 새로운 설명을 다른 캐릭터로 해석할 수 있습니다. 텍스트 프롬프트가 주요 앵커입니다. 텍스트가 모호하면 이미지는 일관성이 없어집니다.
참조 이미지 및 스타일 앵커 사용
복잡한 캐릭터의 경우 텍스트만으로는 종종 충분하지 않습니다. 시각적 참조는 공간적 및 스타일적 앵커를 제공합니다. 캐릭터의 이미지를 업로드하여 모델의 정체성 해석을 유도합니다. 이 단계에서 특정 도구가 프로세스에 적합하게 적용됩니다.
- Midjourney는 새로운 생성 전반에 걸쳐 일관된 얼굴 특징과 스타일을 보장하기 위해 특정 캐릭터 이미지를 참조해야 할 때 사용합니다.
- Adobe Firefly는 Creative Cloud 생태계 내에서 생성된 이미지의 스타일과 정체성을 유도하기 위해 캐릭터 참조 이미지를 업로드해야 할 때 사용합니다.
- Leonardo.Ai는 여러 이미지 생성에 걸쳐 특정 캐릭터 특성 및 미학을 고정해야 할 때 선택합니다.
- Stable Diffusion은 캐릭터 데이터셋에 대한 LoRA 학습이나 ControlNet을 사용한 포즈 및 구조 고정을 통해 고급 일관성을 확보할 때 활용됩니다.
- Krea는 실시간 생성에서 캐릭터 정체성과 스타일을 유지하기 위해 이미지를 업로드해야 할 때 적용합니다.
- Runway는 비디오 시퀀스를 생성하거나 정적 캐릭터 디자인을 애니메이션화할 때 캐릭터 일관성을 유지해야 할 때 사용합니다.
- DALL-E 3는 네이티브 이미지 참조 기능이 없으므로, 상세하고 구체적인 텍스트 프롬프트와 반복적인 개선을 통해 캐릭터 일관성을 유지해야 할 때 의존합니다.
이러한 도구를 사용할 때, 출력물은 얼굴 구조가 참조 이미지와 일치하는지 기준으로 판단하십시오. 장면이 잘 보이는지 기준으로 판단하지 마십시오. 얼굴이 잘못되었다면 장면은 중요하지 않습니다.
조명 및 각도 변형 관리
조명과 각도는 인식되는 불일치의 가장 흔한 원인입니다. 밝은 낮의 캐릭터는 같은 캐릭터라도 그늘에서는 다르게 보입니다. 이는 드리프트가 아니라 물리학입니다. 그러나 모델은 종종 조명 변화를 정체성 변화로 해석합니다.
- 캐릭터가 동일하게 보이려면 조명 설명을 일관되게 유지하십시오.
- 각도를 변경하면 얼굴 특징이 이동할 것으로 예상하십시오.
- 기본 정체성을 확립하기 위해 캐릭터 시트에는 중성 조명을 사용하십시오.
- 정체성이 고정된 후에만 드라마틱한 조명을 적용하십시오.
어두운 골목에서 캐릭터를 생성한 후 밝은 스튜디오에서 생성하면, 모델은 그림자를 다른 얼굴 구조로 해석할 수 있습니다. 정체성을 환경과 분리하십시오. 먼저 중성 컨텍스트에서 캐릭터를 생성하십시오. 그런 다음 특정 환경을 위해 합성하거나 프롬프트를 지정하십시오.
반복적 개선 및 네거티브 프롬프팅
첫 시도에서 바로 원하는 결과를 얻기는 어렵습니다. 반복적인 개선이 워크플로우의 핵심입니다. 여러 변형을 생성하고, 목표한 정체성에 가장 가까운 하나를 선택하세요. 이 선택지를 새로운 참조 이미지로 사용하세요. 이렇게 하면 일관성을 강화하는 피드백 루프가 형성됩니다.
네거티브 프롬프트는 필수적입니다. 모델에게 무엇을 하지 말아야 하는지 명확히 지시해야 합니다.
- 네거티브 프롬프트에 일반적인 편차를 나열하세요.
- "다른 얼굴", "잘못된 헤어스타일", "일반적인 특징" 같은 용어를 포함하세요.
- 새로운 유형의 오류가 보이면 네거티브 프롬프트를 업데이트하세요.
모델이 계속 캐릭터의 코 모양을 다르게 생성한다면, 네거티브 프롬프트에 "잘못된 코 모양"을 추가하세요. 이렇게 하면 드리프트가 능동적으로 억제됩니다.
일관성을 해치는 일반적인 실수
일관성 실패의 대부분은 도구 제한이 아닌 워크플로우 오류에서 비롯됩니다.
- 프롬프트 간에 캐릭터 설명을 변경하지 마세요.
- 모호한 형용사 대신 물리적 묘사어를 사용하세요.
- 정체성을 판단할 때 조명 환경을 무시하지 마세요.
- 편차를 억제하기 위해 네거티브 프롬프트를 사용하지 않는 실수를 피하세요.
- 반복적인 개선 없이 완벽한 일관성을 기대하지 마세요.
- 품질이 낮거나 모호한 단일 참조 이미지만 사용하지 마세요.
이러한 실수를 범하면 어떤 도구도 도움을 주지 못합니다. 워크플로우는 엄격해야 합니다. 텍스트는 정확해야 합니다. 참조는 명확해야 합니다. 반복은 지속적으로 이루어져야 합니다.