Локальные нейросети для музыки и вокала, ожидания и реальность.
Локальные нейросети для музыки и вокала, ожидания и реальность. YuE (произносится как «Юэ») это название проекта, созвучное китайскому иероглифу 乐 (музыка). Это открытая нейросеть для генерации музыки, которая работает локально. Также есть очень близкий по духу проект ACE-Step. 🎵 Сравнение. ACE-Step (v1.5) Очень быстрая и легкая модель, которая работает даже на слабых ПК. Ресурсы: < 4 ГБ VRAM. Отлично работает на видеокартах от GTX 1050 Ti / 1650 Полноценные песни с вокалом до 8 минут, поддержка 50+ языков, каверы, разделение треков. ACE-Step Studio установка в один клик для Windows (install.bat → run.bat). YuE2 (3B) Более тяжелая модель, но дает очень высокое качество, сопоставимое с Suno v5. Ресурсы: 6–24 ГБ VRAM. Комфортно на RTX 3060 (12 ГБ) и выше. Генерация по нотам (редактируемая партитура), управление мелодией и аккордами, агентное редактирование. 💡 Что выбрать (в теории)? Если у вас слабая видеокарта (4–6 ГБ): ваш выбор ACE-Step. Он гарантированно запустится и выдаст результат за считанные секунды. Если у вас мощная карта (12 ГБ и больше) и хочется максимального качества: попробуйте YuE2. Он даст более «живой» и профессиональный звук, а также позволит редактировать партитуру. Обе программы бесплатны, работают офлайн и не требуют подписок. Начать проще всего с ACE-Step Studio из-за простой установки (хз, я с гита ставил, не для начинающих). Ожидание-реальность: У меня на i3 12100 /32/ 6gb 1660 более тяжелая УЭЕ завелась без происшествий, правда одну песню делала 40 минут, а вот АСЯ , которая должна быть легче и быстрее, вообще не пошла. 🤣 В настройках было лень копаться, попробую ее под Linux, возможно дело не в железе, а в Винде 🤔. По звуку: ЕУАЭ близка к Суно с разными оговорками, что-то хуже, что-то лучше, АСЯ напомнила старые начальные версии Суно 3, для электронных партий сойдёт, но нейро заметно ⭐. Ниже песня в Yue целиком на домашнем компе без интернета в стиле Руки Вверх для демонстрации возможностей. У Суно пока лучше аранжировки и ему можно скормить сэмплы, но ЮуЭ наступает, и имеет плюсы: независимость и возможность использовать партитуры🗽