Correction Training for Diffusion Models
Correction Training for Diffusion Models Новый метод обучения диффузионных моделей от UC Berkeley и Reve. Убирает ошибки, которые копятся при генерации. Денойзер видит на инференсе свои же предсказания из прошлых шагов, а не реальные картинки из обучения. Отсюда дефекты вроде кривого рта, которые приходят с ранних шагов • решает разрыв «обучение-инференс», сближая распределения • можно дистиллировать результат обратно в базовую модель, чтобы убрать оверхед • в опросе людей качество и разнообразие выиграли у CFG с большим отрывом • качество на уровне CFG без самого CFG • больше разнообразия картинок, меньше выжженных цветов Как устроено: • отдельный корректoр, обученный править предсказание денойзера к той же цели • на каждом шаге денойзинга предсказание правится несколько раз подряд • повторная коррекция ключевая, не параметры github.com/sunovivid/correction-training Спасибо @m_franz #optimization