🎞️ Разработан новый алгоритм для улучшения работы диффузионных моделей
🎞️ Разработан новый алгоритм для улучшения работы диффузионных моделей Исследователи МФТИ, НИУ ВШЭ и Института системного программирования им. В.П. Иванникова РАН создали нейросетевой алгоритм, который помогает сервисам — генераторам изображений точнее выбирать на фото нужные объекты. ✍️ В чем проблема? Диффузионные модели способны отделять объект на изображении от фона. Технология DreamBooth позволяет адаптировать такую модель под конкретный объект — человека, питомца, товар, используя несколько целевых фотографий. Но при малом количестве обучающих примеров модель запоминает не суть объекта, а случайные детали конкретных фотографий. Это называется меморизацией контекста, и бороться с ней при минимуме данных крайне сложно. 💡 Что предложили ученые? Авторы выяснили, какую информацию модель обрабатывает на разных этапах диффузии: при малом шуме она работает с тонкими деталями внешности, при большом — только с общей структурой. Стандартное обучение уделяет этим этапам одинаковое внимание. Метод P-LoRA изменяет распределение вероятностей и смещает фокус в пользу этапов с малым шумом. Это позволяет лучше запоминать значимые характеристики объекта почти без дополнительных вычислительных ресурсов. 📊 Результаты Умеренный уклон к малошумовым этапам улучшает способность нейросети откликаться на новые текстовые запросы, не теряя качества воспроизведения объекта. Для оценки авторы ввели новую метрику — чистый показатель реконструкции, который перед сравнением с эталоном вырезает фон. 📌 Что дальше? Новый алгоритм можно встроить в любой существующий диффузионный пайплайн буквально за несколько строк кода. Такая легкость особенно ценна для практиков, которые работают с ограниченными вычислительными ресурсами и не могут себе позволить полное переобучение больших моделей.