Как снять ограничение порядка генерации в autoregressive-моделях изображений
Как снять ограничение порядка генерации в autoregressive-моделях изображений Авторегрессионные (AR) генераторы изображений теоретически мощны, но на практике негибки: обучение с фиксированным растровым порядком токенов закрепляет в модели единственный способ факторизации распределения изображений, лишая её возможности инпейнтинга, аутпейнтинга или редактирования на этапе инференса. Существующие решения, включая современное семейство дискретной диффузии, обучаются с нуля на смеси порядков токенов, что требует примерно втрое больше вычислений, чем стандартное растровое обучение; дискретная диффузия дополнительно жертвует качеством генерации. Новый подход позволяет адаптировать уже обученные AR-модели к генерации в произвольном порядке без повторного обучения с нуля. Вместо того чтобы переучивать модель на всех возможных порядках, авторы предлагают метод, который перенастраивает веса существующей модели, сохраняя её исходные знания. Это снижает вычислительные затраты и открывает путь к использованию готовых AR-моделей для задач, требующих гибкого порядка генерации, таких как редактирование изображений по маске или дорисовывание недостающих частей. Технически метод основан на дообучении модели с использованием стратегии, которая имитирует различные порядки генерации, но делает это эффективно, не требуя полного переобучения. Эксперименты показывают, что адаптированная модель сохраняет качество генерации, сравнимое с исходной, и при этом приобретает новые возможности. Это значительный шаг к универсальным генеративным моделям, которые могут быть гибко применены к различным задачам без потери производительности. Главное: • AR-модели с фиксированным порядком не умеют инпейнтинг и редактирование. • Новый метод адаптирует готовые модели без полного переобучения. • Снижение вычислительных затрат в 3 раза по сравнению с обучением с нуля. • Сохраняется качество генерации при добавлении гибкости порядка. #ИИ #ГенерацияИзображений #Авторегрессия #Инпейнтинг #ML