Sự nhất quán của nhân vật được duy trì bằng cách xác định các đặc điểm bất biến trong văn bản và neo giữ chúng bằng các tham chiếu hình ảnh, sau đó kiểm soát chặt chẽ các biến số như ánh sáng và góc chụp. Bạn đạt được điều này bằng cách tách biệt danh tính của nhân vật khỏi bối cảnh của cảnh trong quy trình làm việc.
Vấn đề trôi dạt nhân vật trong AI tạo sinh
Các Mô hình tạo sinh diễn giải prompt theo xác suất. Khi bạn yêu cầu một nhân vật cụ thể, mô hình lấy mẫu từ một phân phối các cách diễn giải có thể. Nếu không có ràng buộc, mỗi lần tạo là một lần gieo xúc xắc mới. Các biến thể nhỏ trong cấu trúc khuôn mặt, kết cấu tóc hoặc chi tiết quần áo tích lũy qua các hình ảnh. Sự trôi dạt này xảy ra vì mô hình ưu tiên bố cục tổng thể và ánh sáng hơn là các dấu hiệu nhận dạng cụ thể. Nếu bạn không chủ động ràng buộc đầu ra, nhân vật sẽ trở thành một nguyên mẫu chung chung thay vì một cá nhân cụ thể.
Xác định các đặc điểm nhân vật bất biến trong prompt
Bạn phải xác định các đặc điểm định nghĩa nhân vật và coi chúng là không thể thương lượng. Đây là các đặc điểm bất biến. Chúng bao gồm hình học khuôn mặt cụ thể, màu mắt, kiểu tóc và các món đồ quần áo độc đáo. Đừng mô tả nhân vật bằng những từ mơ hồ như "ngầu" hay "bí ẩn." Hãy mô tả thực tế vật lý. Thay vì "một vẻ ngoài bụi bặm," hãy chỉ định "tóc cắt ngắn, sẹo trên lông mày trái, áo khoác da cũ."
- Liệt kê các đặc điểm bất biến trong một khối văn bản cố định.
- Giữ khối này giống hệt nhau cho mọi prompt.
- Đặt khối này ở đầu prompt để tăng trọng số.
- Tránh các tính từ ngụ ý nhiều cách diễn giải. Sử dụng danh từ cụ thể và mô tả vật lý.
Nếu bạn thay đổi mô tả về tóc, mô hình có thể diễn giải mô tả mới như một nhân vật khác. Prompt văn bản là neo chính. Nếu văn bản mơ hồ, hình ảnh sẽ không nhất quán.
Sử dụng hình ảnh tham chiếu và neo phong cách
Chỉ văn bản thường không đủ cho các nhân vật phức tạp. Các tham chiếu hình ảnh cung cấp một neo không gian và phong cách. Bạn tải lên một hình ảnh của nhân vật để hướng dẫn mô hình diễn giải danh tính. Đây là nơi các công cụ cụ thể phù hợp vào quy trình.
- Midjourney được sử dụng khi bạn cần tham chiếu một hình ảnh nhân vật cụ thể để đảm bảo các đặc điểm khuôn mặt và phong cách nhất quán qua các lần tạo mới.
- Adobe Firefly được dùng khi bạn cần tải lên hình ảnh tham chiếu nhân vật để định hướng phong cách và nhận diện của các hình ảnh được tạo trong hệ sinh thái Creative Cloud.
- Leonardo.Ai được chọn khi bạn cần khóa các đặc điểm và thẩm mỹ cụ thể của nhân vật qua nhiều lần tạo hình ảnh.
- Stable Diffusion được tận dụng để đạt độ nhất quán nâng cao thông qua việc huấn luyện LoRA trên các tập dữ liệu nhân vật hoặc sử dụng ControlNet để khóa tư thế và cấu trúc.
- Krea được áp dụng khi bạn cần tải lên một hình ảnh để duy trì nhận diện và phong cách nhân vật trong quá trình tạo hình ảnh theo thời gian thực.
- Runway được sử dụng khi bạn cần duy trì sự nhất quán của nhân vật khi tạo chuỗi video hoặc làm hoạt hình cho các thiết kế nhân vật tĩnh.
- DALL-E 3 được dựa vào khi bạn cần duy trì sự nhất quán của nhân vật thông qua các lời nhắc văn bản chi tiết, cụ thể và tinh chỉnh lặp lại, vì nó thiếu tính năng tham chiếu hình ảnh gốc.
Khi sử dụng các công cụ này, hãy đánh giá kết quả dựa trên việc cấu trúc khuôn mặt có khớp với hình tham chiếu hay không. Đừng đánh giá dựa trên việc cảnh nền trông có đẹp hay không. Nếu khuôn mặt sai, thì cảnh nền không quan trọng.
Quản lý biến thể ánh sáng và góc chụp
Ánh sáng và góc chụp là những nguyên nhân phổ biến nhất gây ra cảm giác thiếu nhất quán. Một nhân vật dưới ánh sáng ban ngày rực rỡ trông khác biệt so với chính nhân vật đó trong bóng râm. Đây không phải là sự trôi lệch; đó là vật lý. Tuy nhiên, các mô hình thường diễn giải sự thay đổi ánh sáng như sự thay đổi về nhận diện.
- Giữ mô tả ánh sáng nhất quán nếu bạn muốn nhân vật trông giống nhau.
- Nếu bạn thay đổi góc chụp, hãy dự đoán các đặc điểm khuôn mặt sẽ dịch chuyển.
- Sử dụng ánh sáng trung tính cho các bảng nhân vật để thiết lập nhận diện cơ sở.
- Chỉ áp dụng ánh sáng kịch tính sau khi nhận diện đã được khóa.
Nếu bạn tạo một nhân vật trong một con hẻm tối rồi lại trong một studio sáng, mô hình có thể diễn giải các bóng đổ như những cấu trúc khuôn mặt khác nhau. Hãy tách biệt nhận diện khỏi môi trường. Tạo nhân vật trong bối cảnh trung tính trước. Sau đó ghép hình hoặc dùng lời nhắc cho môi trường cụ thể.
Tinh chỉnh lặp lại và lời nhắc phủ định
Bạn sẽ không đạt kết quả đúng ngay từ lần thử đầu tiên. Tinh chỉnh lặp lại là cốt lõi của quy trình làm việc. Tạo nhiều biến thể. Chọn biến thể gần nhất với đặc điểm nhận dạng mục tiêu. Sử dụng lựa chọn đó làm ảnh tham chiếu mới. Điều này tạo ra một vòng phản hồi giúp tăng cường tính nhất quán.
Nhắc nhở phủ định (negative prompting) là yếu tố thiết yếu. Bạn phải cho mô hình biết những gì không nên làm.
- Liệt kê các sai lệch phổ biến trong lời nhắc phủ định của bạn.
- Bao gồm các thuật ngữ như "different face", "wrong hair" hoặc "generic features".
- Cập nhật lời nhắc phủ định khi bạn thấy các loại lỗi mới xuất hiện.
Nếu mô hình liên tục gán cho nhân vật một hình dạng mũi khác, hãy thêm "wrong nose shape" vào lời nhắc phủ định. Điều này chủ động hạn chế sự lệch chuẩn.
Các lỗi phổ biến phá vỡ tính nhất quán
Hầu hết các lỗi về tính nhất quán bắt nguồn từ sai sót trong quy trình làm việc, chứ không phải do hạn chế của công cụ.
- Thay đổi mô tả nhân vật giữa các lời nhắc.
- Sử dụng tính từ mơ hồ thay vì các mô tả đặc điểm vật lý.
- Bỏ qua bối cảnh ánh sáng khi đánh giá đặc điểm nhận dạng.
- Không sử dụng lời nhắc phủ định để hạn chế các sai lệch.
- Kỳ vọng tính nhất quán hoàn hảo mà không cần tinh chỉnh lặp lại.
- Sử dụng một ảnh tham chiếu duy nhất có chất lượng thấp hoặc không rõ ràng.
Nếu bạn mắc những lỗi này, không công cụ nào có thể cứu vãn được tình hình. Quy trình làm việc phải có kỷ luật. Văn bản phải chính xác. Các ảnh tham chiếu phải rõ ràng. Quá trình lặp lại phải được duy trì liên tục.