Ученые из университета «Иннополис», МФТИ и ИСП РАН разработали новый метод децентрализо...
Ученые из университета «Иннополис», МФТИ и ИСП РАН разработали новый метод децентрализованной оптимизации. Он позволяет обучать глубокие нейросети, даже когда связь между серверами прерывается. Это особенно важно для беспилотных автомобилей, обменивающихся данными на ходу, и для федеративного обучения ИИ на данных из разных организаций. Исследователи предложили подход для стохастической негладкой оптимизации. Он эффективно настраивает алгоритмы ИИ в условиях ненадежных каналов связи. Метод важен для федеративного обучения, робототехники и интернета вещей. Максим Дивильковский из «Иннополиса» пояснил: «Мы расширили существующую теорию, которая работала только для стабильных задач. Наш алгоритм охватывает негладкие функции и динамические сети. Мы доказали, что он достигает теоретически оптимальной скорости сходимости». Задача делится на две части: гладкую (отвечает за связь, ускоряется методом Нестерова) и негладкую (отвечает за обучение модели). Вместо глобального усреднения сети используется локальный обмен только с доступными соседями. Это делает обучение устойчивым к разрывам связи: алгоритм продолжает работать, даже если соединение между узлами временно пропадает. Метод подходит как для обычной оптимизации, так и для седловых задач, лежащих в основе генеративных моделей ИИ. Работа опубликована в материалах престижной конференции по ИИ AAAI и выполнена при поддержке Минэкономразвития России.