Новый метод ускорения генерации изображений: Scale-wise Distillation
Новый метод ускорения генерации изображений: Scale-wise Distillation Исследователи из Yandex Research предложили метод дистилляции Scale-wise Distillation (SwD), который ускоряет генерацию изображений. Вместо того чтобы сразу создавать изображение в полном разрешении, модель постепенно повышает его на каждом шаге. Это позволяет ускорить процесс более чем в два раза по сравнению с обычной дистилляцией. Сейчас генерация изображений с помощью диффузионных моделей занимает много времени, так как требует множества вычислительно затратных шагов. Scale-wise-генерация решает эту проблему: процесс начинается с одного пикселя, и разрешение постепенно увеличивается. Метод сочетает преимущества VAR (Visual Autoregressive Transformer) и диффузионных моделей. Обучение строится на парах соседних разрешений: малоразмерное изображение увеличивают, добавляют шум и подают в генератор, который предсказывает изображение в целевом разрешении. Функция потерь основана на сопоставлении распределения между предсказанием и целевым изображением. Важный нюанс — необходимость правильного подбора уровня шума. Если его будет недостаточно, на финальных картинках появятся артефакты. Также модель обучается на синтетических данных, что улучшает качество генерации.