S-Space: как мультимодальные модели кодируют пространство
S-Space: как мультимодальные модели кодируют пространство Мультимодальные языковые модели (MLLM) демонстрируют впечатляющие способности к пространственным рассуждениям, однако внутренние механизмы, которые обеспечивают эти способности, остаются малоизученными. Исследователи обнаружили S-Space — линейное подпространство представлений, в котором токены объектов кодируют непрерывные координаты по горизонтальной, вертикальной и дистанционной осям. Это открытие проливает свет на то, как модели понимают пространственные отношения между объектами на изображениях. S-Space было выявлено путём дифференцирования оценок пространственных ответов относительно активаций токенов объектов. Важно, что это подпространство является внутренним свойством модели, а не следствием специфики обучающих данных. Оно возникает естественным образом в процессе обучения и используется для решения задач, требующих пространственного мышления, таких как определение относительного расположения объектов или оценка расстояний. Практическое значение этого открытия велико: оно может помочь в разработке более интерпретируемых и контролируемых систем ИИ, а также улучшить архитектуры MLLM для задач навигации, робототехники и дополненной реальности. Понимание того, как модели представляют пространство, открывает путь к более точной настройке и исправлению ошибок в пространственных рассуждениях. Главное: • S-Space — линейное подпространство для координат объектов • Оси: горизонтальная, вертикальная и дистанционная • Подпространство внутреннее, не зависит от данных • Открытие улучшает интерпретируемость MLLM • Потенциал для робототехники и дополненной реальности #ИИ #MLLM #ПространственноеМышление #Интерпретируемость