Три крупных датасета для редактирования изображений
Три крупных датасета для редактирования изображений Редактирование изображений становится всё популярнее, и для обучения моделей нужны большие датасеты. Исследователь Yandex Research Сергей Кастрюлин проанализировал несколько работ в этой области. Paint by Inpaint содержит 1,8 млн сэмплов и посвящён добавлению и удалению объектов. Авторы используют маски из LVIS и технологию SD-Inpainting. Данные проходят несколько этапов фильтрации. SEED-Data-Edit включает 1,5 млн сэмплов и состоит из трёх частей: синтетические данные, полученные с помощью моделей LLAVA-1.5, GroundingDINO и SAM, и реальные данные, собранные с сайтов с запросами на редактирование изображений. Есть некоторые недостатки: например, информация о последовательных редактированиях используется неэффективно. AnyEdit содержит 2,5 млн сэмплов и разделён на 5 категорий: от локального редактирования до неявного. Авторы генерируют дополнительные синтетические изображения, чтобы включить «редкие концепты», и используют Llama3-8b для создания editing-инстрактов.