The Attention Triangle
The Attention Triangle Исследование о том почему в аудио-видео моделях звук прилипает не к тому объекту. Пират молчит, а говорит попугай — модель все равно заставляет говорить пирата. Авторы разобрали механизм утечки и научились его чинить - Нашли треугольник внимания: три связи между текстом, аудио и видео. Главный источник утечки — двунаправленная связь аудио ↔️ видео - Интервенция на инференсе: управляют треугольником внимания, чтобы звук прикреплялся к правильному источнику — без переобучения Проверено на LTX-2. Получили практически бесплатный обходной фикс для уже обученных моделей Код ждем #research #attention #t2v #i2v
74 просмотров
Канал в каталоге Максиметера
213 подписчиков · IT и технологии