Учу нейросетям бесплатно в MAX [11]
Учу нейросетям бесплатно в MAX [11] Про нейромоделей и разных там снегурочек всю зиму писали практически все паблики. Что уж там… даже популярные артисты с виртуальными образами треки и клипы записывали. В уроке № 6 я уже касался темы создания виртуальной модели в Midjourney, теперь продолжу, но уже подробнее скажу про часть с видео. Да, напомню, что создавать ИИ-модель (фотографию) лучше всего выходит в Midjourney. Нейросетка-художник выполняет все наши фантазии, если её об этом попросить. Кстати, просить тоже достаточно просто. Ну не умеете вы детально прописывать промпт — ок. Есть такая подсказка: Шагаете в соцсеть Pinterest — находите любой нужный образ модели — делаете скриншот — идёте в текстовую модель, которая умеет анализировать фотографии (например: ChatGPT или Claude, или просто в Perplexity) — просите описать модель на фотографии для промпта в нужную нейросеть (условно в Midjourney) — вам даётся промпт, который уже можно и доработать, и сократить, обрезать или же отправить в работу полностью. Далее вы получаете фотографию модели (или ещё раз отправляете промпт в графическую нейросетку). С этой фотографией можно уже работать и выполнять наши задачки. Хотим мы, например, сделать снегурочку. Что дальше? Идём с этой графикой в видеомодели? Рановато. Теперь надо сделать из одной фотокарточки несколько фотографий в разных планах и позах, но с сохранением модели. Для этих целей подойдёт уже любимый Nano Banana, которому можно запросить раскадровку для видео прямо в одной фотографии — дальше с этими планами работать уже. Ну вот мы сделали несколько планов и поз с нашей моделью. Что дальше? Теперь надо её оживить. Самое детальное — Kling. Промпты на оживление уже давал ранее, да и сами можете это прописать в режиме видео из фото. Одна проблема — у вас они будут что-то делать молча, а нам надо, чтобы модель пела или говорила. 📍Во-первых, конечно, можем это сделать прямо в Kling, где есть режим Motion. Но тут нужен исходник с кем-то уже поющей или говорящей. 📍Во-вторых, можем пойти в Google Veo, где создаются говорящие видео. Занудный метод: выбираем часть слов из песни и просим нейросеть проговорить именно эту часть, а потом на неё наложим трек. 📍Но есть ещё один приём. Для этого нам понадобится нейросеть HeyGen. В неё мы можем загрузить референс персонажа и аудиофайл (хронометраж зависит от места для генерации, чаще — от 2 до 120 секунд). В итоге получим ИИ-модель, которая поёт или говорит. То есть это такой липсинк (синхронизация губ и звука). Теперь вопрос. А зачем нам была нужна раскадровка, если модель поёт с одного кадра? 📍Во-первых, модель будет петь с перебоями или с полным отклонением от звука. Такое бывает. Иногда спасает ещё одна генерация, а иногда (когда фото плохое), губы могут еле открываться. Вот на такие косяки требуются перекрывашки, чтобы создать ощущение реальной модели. 📍Во-вторых, разные планы создают динамику в ролике: перебивки, сюжетность и так далее. Мой пример — красноярская снегурка — создавался ещё в декабре прошлого года. Сейчас, наверное, чуть лучше стало с липсинками, но суть такая и осталась: делаем картинку — раскадровка — липсинк — дополнительные планы. Финальный штрих — идём в редактор, где уже на монтаже делаем переходы, эффекты или что нам нужно. Я не сказал про идею и сценарий — это всегда и везде надо, чтобы получилось хорошо. Про музыку тоже не сказал — об этом позже. На сегодня такого урока хватит, а в следующем продолжим про видео — там будет модель, которая делает сразу всё.