Hailuo анонсувала запуск нової функції Subject Reference, яка дозволяє створювати відео з неймовірною стабільністю образів персонажів. Тепер для генерації відео, в якому персонаж буде зберігати свою ідентичність впродовж усіх кадрів, достатньо лише одного референсного зображення.
🎥 Introducing Hailuo's Subject Reference: Revolutionizing Character Consistency in Video Creation 🔥
— Hailuo AI (MiniMax) (@Hailuo_AI) January 9, 2025
We’re excited to present Hailuo's S2V-01 model, a groundbreaking innovation in AI video generation that tackles one of the industry’s biggest challenges: maintaining consistent,… pic.twitter.com/uoZO687xdJ
Функція працює у три етапи: користувач завантажує одне зображення персонажа, створює підказку, яка визначить напрямок відео, а потім запускає процес створення. Це дозволяє отримати відео з високим рівнем точності та консистентності образу, навіть при зміні кута камери чи рухах персонажа.
Особливість нової технології в тому, що вона є першою, яка дозволяє зберігати постійність персонажа в динамічних відео. Кожен кадр відтворює оригінальне зображення персонажа з максимальною точністю. Вдалося досягти значної гнучкості в зміні не тільки рис обличчя, а й поз, виразів обличчя, освітлення та інших деталей через текстові підказки.
Хоча нова модель і покращує консистентність персонажа, вона може інколи менш точно слідувати підказкам, ніж моделі T2V чи I2V, особливо в разі змін навколишнього середовища. Проте це лише початок — розробники працюють над покращеннями, зокрема, мульти-референсними зображеннями для кількох персонажів, а також для більш складних сцен.
