Короче я проверил и потестил новую нейронку Happy Horse 1.0 от Alibaba, которая сейчас ...
Короче я проверил и потестил новую нейронку Happy Horse 1.0 от Alibaba, которая сейчас доступна в SYNTX.AI, и вот что для себя выяснил. Сейчас AI-видео уже не про то, чтобы просто сделать красивую картинку, с этим почти все модели более-менее справляются, главный челлендж теперь в движении и ощущении реальности сцены. У Happy Horse основной упор как раз на физику, и это реально заметно, особенно в простых сценах, где есть одно понятное действие, например человек идет, едет машина или что-то взаимодействует с водой или тканью. В таких кейсах видео выглядит не как генерация, а как будто сцена реально снята, потому что есть ощущение веса, инерции и нормального поведения объектов. Еще заметил, что модель хорошо работает с референсами, можно закинуть сразу несколько изображений и она гораздо точнее собирает сцену, меньше угадывает и больше следует тому, что ты хочешь получить. Качество тоже на уровне, сразу идет нативное 1080p, и за счет этого картинка не рассыпается на деталях, нет ощущения "мыла", нормально читаются свет, текстуры и мелкие элементы. Отдельно кайфанул с тем, что звук генерируется сразу вместе с видео, и он не ощущается приклеенным, а реально совпадает с происходящим в кадре, из-за этого ролик выглядит более законченным. Есть lip-sync на нескольких языках, можно делать говорящих персонажей без лишней сборки через кучу инструментов, это ускоряет работу. Еще полезная штука это Seed, потому что можно зафиксировать удачный результат и не ломать сцену, когда хочешь поменять какую-то мелочь, это сильно экономит время. Но есть нюанс, если перегружать запросы, модель начинает путаться, поэтому лучше работать от простого, задать четкую сцену и одно основное действие, тогда результат заметно лучше. В итоге для себя сделал вывод, что эта модель не про универсальность, а про качественные короткие сцены с нормальной физикой и движением, и в этом она реально сильная. Джипити короче