Учёные МФТИ создали метод дообучения ИИ с экономией ресурсов
Учёные МФТИ создали метод дообучения ИИ с экономией ресурсов Учёные МФТИ разработали SimplexLoRA – метод дообучения больших языковых моделей, который автоматически определяет наиболее важные слои нейросети и направляет на их настройку больше ресурсов. Об этом сообщили в пресс-службе МФТИ. Большие языковые модели редко переучивают с нуля для каждой конкретной задачи, так как это требует значительных вычислительных ресурсов, большого объёма памяти и времени. Вместо этого разработчики прибегают к методам параметрически эффективного дообучения, используя небольшие дополнительные модули – адаптеры. LoRA является одним из самых популярных методов такого рода. Этот подход позволяет оперативно адаптировать универсальную модель для выполнения различных задач, таких как анализ текстов, ответы на вопросы, решение математических задач и других сценариев. Однако существует ограничение: адаптеры обычно имеют одинаковый размер во всех слоях нейросети, хотя влияние разных слоёв на результат может быть неодинаковым – одним слоям для освоения новой задачи может потребоваться больше ресурсов, в то время как другим достаточно меньшего объёма. Ученые из МФТИ совместно с исследователями из компании «Т-Технологии» предложили новый метод, который позволяет увеличивать или уменьшать размер адаптеров в зависимости от того, какие участки нейросети были обучены в начале. Этот метод автоматически распределяет фиксированный бюджет между различными слоями модели. Метод SimplexLoRA сначала оценивает, каким участкам нейросети требуются более крупные адаптеры, а каким – меньшие, перед началом дообучения. Общий объём обучаемых параметров при этом остаётся неизменным: алгоритм не добавляет новых ресурсов, а перераспределяет уже имеющиеся. Обучение выполняется поэтапно: сначала происходит распределение ресурсов, затем стандартное дообучение с новыми размерами с помощью LoRA. Эффективность нового метода была проверена на 12 задачах, включая анализ эмоциональной окраски текста, ответы на вопросы, математические рассуждения и автоматическое реферирование. В экспериментах использовались языковые модели разного размера, такие как Llama 3.1 8B и Qwen3-8B. Новый метод также продемонстрировал устойчивость к выбору параметров. Для достижения стабильных результатов разработчикам не нужно проводить длительный поиск оптимальных настроек: в большинстве случаев достаточно использовать рекомендованные значения. «Вместо того чтобы назначать всем слоям одинаковые адаптеры, мы позволяем модели определить, где ограниченный бюджет параметров принесёт наибольшую пользу. Особенно заметный эффект возникает при небольших рангах, когда каждый обучаемый параметр имеет значение», – объясняет соавтор исследования и научный руководитель лаборатории BRAIn Lab Александр Безносиков. Этот метод особенно эффективен для оптимизации работы языковых моделей при ограниченном вычислительном ресурсе, например, когда у разработчиков недостаточно видеопамяти или они стремятся снизить затраты на обучение. Благодаря совместимости с традиционным LoRA, его можно интегрировать в существующие системы без значительных изменений в программном коде. Исходный код SimplexLoRA доступен для свободного использования. Публикация статьи запланирована на конференции EMNLP 2026, которая пройдёт в Будапеште. Обучение нейросетей оптимизируют не только на классических, но и на квантовых компьютерах. Как рассказывала интернет-газета «ЖУК», МАДИ разработали математический инструмент, который позволит квантовым компьютерам обучать нейросети в сотни раз быстрее классических систем.