Один GPU на сеть и вычисления.
Один GPU на сеть и вычисления. Американские исследователи предложили планировщик, который позволяет запускать на одном GPU базовую станцию 5G и ИИ-модель. Сеть при этом не падает. Зачем это нужно? Мы как-то рассуждали на тему переиспользования простоя вычислительных мощностей на edge, в т.ч. тех, что расположены в современных сборках БС. Оператор ставит на сеть доступа серверы с GPU и считает на них радиочасть. Свободные ресурсы он отдает под ИИ, например под языковые модели или видеоаналитику рядом с абонентом. Железо окупается быстрее, а ИИ оказывается ближе к пользователю. Проблема в том, что радиочасть должна обработать каждый слот за несколько миллисекунд. Если не успеть, копятся повторные передачи, абоненты теряют синхронизацию, соты отключаются. Обычные способы деления GPU заставляют выбирать задачу, фиксированное деление рассчитывают на пиковую нагрузку, в результате ресурсы простаивают. Тонкая настройка требует правки кода каждого приложения. Перенастройка занимает больше 100 мс, и на это время расчеты уходят на CPU. Принцип работы планировщика строится на простом наблюдении. Нагрузка сети на GPU зависит от ее состояния: числа активных сот и абонентов, скорости вниз и вверх, схемы модуляции, числа радиоресурсов и MIMO-слоев. Все эти параметры известны до запуска расчета на GPU. Значит, потребность в ресурсах можно предсказать заранее. Если упростить подход, то работа сократится до трех шагов. Сначала модуль мониторинга читает метрики сети через стандартные интерфейсы. Задержка этого шага около 0,7 мкс. Затем небольшая нейросеть, ансамбль из четырех моделей, прогнозирует загрузку на следующий слот. Она берет не среднее значение, а 99,8 перцентиль, т.е. закладывает запас ради стабильности сети. Работает прогноз на обычном CPU и занимает 21-24 мкс. Наконец, модуль распределения переводит прогноз в маски доступа и выдает сети нужное число блоков. Остальные блоки получает ИИ. Шаг занимает около 0,5 мкс, а гранулярность деления составляет два вычислительных блока. Суммарная задержка меньше 27 мкс. Первое преимущество в том, что система прозрачна. Код станции и ИИ-приложений не меняется, поэтому на одном GPU могут работать разные модели. Второе преимущество в точности: ресурсы перераспределяются на каждом слоте, и ИИ получает все, что сеть не заняла. Третье в масштабируемости. Прогноз строится на суммарных метриках по всем сотам, поэтому модель обучили один раз и применяли при разном числе сот и разной нагрузке без переобучения. В эмуляции с 27 сотами нагрузка доходила до 138 абонентов вниз и 61 вверх. Планировщик сравнили с двумя статическими разделами из 132 блоков: 108 сети и 24 ИИ или 52 сети и 80 ИИ. Пропускная способность вверх почти не отличалась от раздела с приоритетом сети, а верхний перцентиль задержки остался ниже 3 мс. Время до первого действия робота, которым управляет модель, оказалось короче, чем при статическом приоритете сети. Раздел с приоритетом ИИ ухудшал и пропускную способность, и задержку, поэтому на практике он неприменим. Накладные расходы почти не росли с масштабом: при 8 сотах трафик составлял 5266 Мбит/с вниз, при 27 сотах 11483 Мбит/с, а задержка прогноза осталась около 22 мкс. Подписывайтесь на Телекоммуналку
Канал в каталоге MAXimeter
10 847 подписчиков · IT и технологии