Методы слияния языковых моделей: SLERP и TIES
Методы слияния языковых моделей: SLERP и TIES Слияние моделей (мёржинг) — это процесс объединения нескольких больших языковых моделей (LLM) в одну. Один из базовых методов — усреднение весов, например, exponential moving average, который смешивает веса модели на нескольких последних итерациях. Метод SLERP (Spherical Linear Interpolation) рассматривает веса модели как вектора и усредняет их за счёт изменения угла между ними — поворота весов одной модели в сторону другой. Если вектора весов сонаправлены, SLERP сводится к их усреднению. Преимущество метода в сохранении магнитуды векторов, но его можно использовать только для слияния двух моделей одновременно. Ещё один метод — TIES. Сначала рассчитываются таск-вектора моделей (разница весов предобученной и файнтюненной модели). Затем в параметрах, где вектора меньше определённого порога, они зануляются. После этого «разрешаются конфликты» между таск-векторами: если изменения направлены в одну сторону — ничего не меняется, если в разные — зануляется наименьшее значение. В конце происходит слияние любым способом. Как и SLERP, TIES подходит только для слияния двух моделей. В следующей части мы расскажем о других методах слияния моделей. Делитесь своим опытом в комментариях!