ИИ от Netflix удаляет объекты из видео с учетом физики и понимания мира
ИИ от Netflix удаляет объекты из видео с учетом физики и понимания мира Netflix представила модель VOID, которая удаляет объекты из видео не просто «по пикселям», а вместе с последствиями их присутствия в сцене. Если из видео с ДТП с двумя машинами стереть одну — аварии не случится, и второе авто поедет дальше. Если убрать людей, сбивающих кегли шаром, то кегли останутся на своих местах. VOID не просто вырезает пиксели, а строит альтернативную версию происходящего, где после исчезновения объекта меняется и физика сцены. Сначала система с помощью визуальной модели размечает на видео объект, который нужно убрать, и зоны, которые он затрагивает: что может упасть, сдвинуться, столкнуться или изменить траекторию. Затем эта схема передается в генератор видео, который тренировали на примерах видео с присутствием объекта и без него — чтобы модель училась понимать разницу и достраивать взаимодействия. Если на первом проходе появляются артефакты, система делает дополнительный этап коррекции. Веса выложили в открытый доступ на Hugging Face, но запустить модель на домашнем железе вряд ли получится. Авторы рекомендуют использовать GPU минимум с 40 ГБ памяти, например, A100. 🛸 Подпишись: ТехноБудущее https://max.ru/id234706117299_biz5 #технологии #инновации #гаджеты #будущее #ИИ #Netflix #VOID #видео