Исследователи нашли способ тратить на 15% меньше вычислений на обучение LLM без потери ...
Исследователи нашли способ тратить на 15% меньше вычислений на обучение LLM без потери качества Исследователи из Т-Теха представили LIMe — метод обучения больших языковых моделей (LLM) — на EMNLP 2026, конференции высшей категории A*, которая сейчас проходит в Венгрии. По их результатам, метод позволяет сократить вычислительные затраты примерно на 15% без снижения качества. В трансформерах каждый слой получает только скрытое состояние предыдущего — внутреннее представление обрабатываемого текста. Через него должен пройти весь контекст. Авторы показывают, что это создаёт давление в сторону коллапса представлений: токены, то есть фрагменты текста, становятся слишком похожими друг на друга. Различия теряются, а с ними — и качество. LIMe (Layer-Integrated Memory) — лёгкое расширение механизма внимания, который помогает модели учитывать связи между токенами. Метод использует уже хранящиеся для каждого слоя key-value буферы — наборы векторов для поиска и передачи информации. К ним добавляются обучаемые веса маршрутизации: они определяют, откуда и в какой пропорции брать представления. Эти веса отдельные для каждого слоя и каждой головы внимания — параллельного компонента механизма внимания. Благодаря им голова может брать представления не только с предыдущего слоя, но и с более ранних, смешивая их. Размер скрытого состояния не растёт: модель повторно использует уже выполненные вычисления. В экспериментах на моделях примерно с миллиардом параметров LIMe достиг той же ошибки обучения, что и базовая LLaMA, потратив на 15% меньше вычислений. На бенчмарках — наборах проверочных задач — по языковому моделированию и многошаговым рассуждениям метод обошёл другие подходы. Самый заметный выигрыш получили на синтетических арифметических задачах и в архитектурах с большим числом слоёв. Авторы также отмечают более высокую энтропию value-векторов — меру разнообразия передаваемых представлений — и лучшую разделимость токенов. По их оценке, это указывает на смягчение проблемы коллапса. Выученные веса маршрутизации показывают, что модель систематически переиспользует как локальные, так и дальние признаки. Подробности — в статье, код — в полной авторской реализации. Материалы: — https://arxiv.org/abs/2502.09245 — GitHub — corl-team/lime: https://github.com/corl-team/lime Источник: https://t.me/data_secrets/10236 #RealVibe #AI #AI_Новости