4B-модель обгоняет 235B: S²VOPD без привилегий
4B-модель обгоняет 235B: S²VOPD без привилегий Метод Self-Supervised Visual On-Policy Distillation (S²VOPD — самообучающаяся визуальная дистилляция на политике) позволил Qwen3.5-4B обогнать Qwen3-VL (235B) и GPT-5.4 на шести бенчмарках тонкого восприятия. Исследователи из UCSD «отнимают» данные у ученика сильной аугментацией картинки. Учитель видит оригинал. Асимметрия даёт сигнал без разметки и наград. Рост с 70,7% до 77,4%. 96% эффекта привилегированных методов. Симметрия вредит. Иногда меньше — значит больше. Источники: https://arxiv.org/abs/2608.14144 #AI #ComputerVision #Distillation #Qwen #S2VOPD #Multimodal
35 просмотров