Я решил отойти от коротких нейророликов и попробовать что-то покрупнее. Взял 104-ю главу манги и сделал за 6 дней вот такую "экранизацию". 3 минуты, примерно 60 клипов, которые я сводил вместе в DaVinci Resolve.
А сами клипы генерировал в MiniMax H3 - это вообще универсальный комбайн для генерации видео, на вход как изображения так и звуковую дорожку для клонирования голоса, ещё композицию кадра можно задать через скетч. Хотя сама модель - это бесплатный огрызок Hailuo 3, поэтому текстовый промпт приходится прямо очень подробный писать посекундно расписывая каждое действие. Я так-то стремился к неотличимому от студийного аниме качеству, но некоторые места всё равно проседают пока, зато Full HD. Технология мощная, но ещё очень сырая - приходится многое прямо на ходу изобретать.
Вообще, вся видеогенерация сейчас находится на той стадии, на который 3D анимация находилась в конце 80-х - инструментов удобных нет, нужна техническая экспертиза, но ситуация понемногу исправляется, а модели и методы полируются. Короче, всё движется в сторону большего контроля - MiniMax уже сейчас может перегенерировать клип заменив персонажа, окружение, освещение, точно следовать ключевым кадрам, бесшовно соединять/продолжать клипы, попадать в движением рта в звуковую дорожку, копировать движение из готового клипа. Пока не хватает точного контроля камеры, но думаю и до этого дойдёт.
Короче, я ожидаю, что как только это технология станет достаточно удобной в пользовании для рядового человека, сюда начнут подтягиваться по-настоящему творческие люди (а не техногики как сейчас), которые в полной мере раскроют потенциал видеогенерации.
А вот кстати, ссылка на