Альтернативы квадратичному самовниманию: обзор исследований
Альтернативы квадратичному самовниманию: обзор исследований В последнее время активно обсуждаются альтернативы классическому механизму самовнимания в трансформерах. Основная причина — высокая стоимость квадратичного масштабирования и сложности работы с длинными контекстами. Рассмотрим несколько интересных работ на эту тему. Команда MiniMax в своём посте рассказала, что их гибридная модель MiniMax M1 использовала линейный механизм самовнимания, но в версии M2 они вернулись к полному квадратичному самовниманию. Причина — гибридная архитектура не показала хороших результатов на задачах с длинным контекстом и кодом. В работе The Sparse Frontier исследуются компромиссы при использовании разреженного самовнимания в трансформерах. Авторы пришли к выводу, что на умеренных контекстах спарсификация почти не помогает, а на очень длинных может ухудшать качество. В среднем удаётся достичь примерно пятикратного сжатия без значительной потери качества. Другой автор критикует существующие бенчмарки для проверки работы с длинным контекстом, отмечая, что они плохо отражают реальные задачи. По его мнению, модели начинают деградировать уже на десятках тысяч токенов при решении сложных задач. В то же время команда Moonshot AI представила архитектуру Kimi Linear, где используется линейное самовнимание. В модели применено соотношение 3:1 линейных слоёв к полному самовниманию. Результаты показывают, что качество на бенчмарках не хуже, а эффективность выше по сравнению с полным самовниманием.
Канал в каталоге Максиметера
2 подписчиков · IT и технологии