Дообучать нейронки теперь можно эффективнее с тем же бюджетом параметров — исследовател...
Дообучать нейронки теперь можно эффективнее с тем же бюджетом параметров — исследователи Т-Технологий и МФТИ представили на международной конференции EMNLP метод SimplexLoRA Секрет в распределении ресурсов. Чтобы подстроить готовую модель под свою задачу, ее обычно не переобучают целиком: это слишком дорого. Вместо этого используют LoRA — к слоям модели добавляют небольшие обучаемые модули, и учатся только они. Но стандартная LoRA выделяет всем слоям одинаковое число параметров, хотя польза от них для конкретной задачи разнится. SimplexLoRA сначала выясняет, какие слои важнее, и отдает им больше параметров, а остальным — меньше. Общий бюджет при этом не растет. На 12 тестовых задачах метод в большинстве случаев не уступал обычной LoRA или обходил ее при той же стоимости работы модели. Лучше всего подход раскрывается с небольшими адаптерами — то, что нужно, когда модель надо настроить под себя, а мощностей немного. Исходный код уже залили на GitHub. Каждому слою — по потребностям