ИД

ИИ для чайников

IT и технологии · 22 июня 2026 г.

Открыть канал в MAX

Адаптация decoder-only моделей в encoder-decoder: новые возможности

Адаптация decoder-only моделей в encoder-decoder: новые возможности Encoder-decoder модели сохраняют свою актуальность, несмотря на популярность decoder-only. В статье рассматривается метод адаптации предобученных decoder-only моделей в encoder-decoder. Из весов decoder-only модели собирают encoder-decoder: в энкодере self-attention и FFN инициализируются на основе соответствующих компонентов исходной модели, но self-attention переключают с causal на двунаправленный. В декодере self-attention (causal) и FFN также берутся из decoder-only. Новая часть — cross-attention. Если энкодер и декодер получены из одного чекпойнта, cross-attention инициализируют из SA, в противном случае — рандомно с дополнительным обучением. Авторы сравнивают два варианта претрейн-обджектива: PrefixLM и UL2. PrefixLM облегчает имплементацию дистилляции, где исходная decoder-only выступает «учителем», а UL2 решает denoising-задачи без использования дистилляции. Эксперименты показали, что PrefixLM даёт лучшие результаты за счёт дистилляции, а у UL2-моделей — лучшие энкодер-представления. Модели, полученные с помощью адаптации, демонстрируют лучшее качество по сравнению с моделями, обученными с нуля. Проверку проводили на Gemma с 2B и 9B параметрами.