Метод MatFormer: как из одной модели получить несколько
Метод MatFormer: как из одной модели получить несколько Существует метод, который позволяет обучить одну модель и извлечь из неё несколько «подмоделей». Рассмотрим подход MatFormer от инженеров Google. Суть метода заключается в том, чтобы вкладывать разные варианты слоёв друг в друга, подобно матрёшке: параметры меньшего трансформера используются в большем. Метод применяется в dense-архитектурах и фокусируется на FFN-слоях, в которых сосредоточено до 60% параметров. При обучении используется случайный и равномерный сэмплинг определённых наборов нейронов скрытого слоя. На этапе инференса применяется процедура Mix’n’Match: для разных слоёв подбираются свои параметры так, чтобы размер слоёв увеличивался постепенно. Результаты показывают, что модель, полученная с помощью MatFormer, работает лучше, чем модель, обученная с нуля. Кроме того, «модели из матрёшки» хорошо согласуются с большой моделью, что позволяет использовать маленькие модели, например, при спекулятивном декодинге.