Как метод Ulysses помогает обучать модели на длинном контексте
Как метод Ulysses помогает обучать модели на длинном контексте Обучение моделей на длинном контексте требует значительного объёма памяти. Например, для обучения Qwen3-235B на контекст в 131 тысячу токенов нужно более 100 ГБ только под активации. Метод контекстного параллелизма Ulysses позволяет решить эту проблему. Его суть в том, что последовательность данных разбивается на части, и каждая часть обрабатывается на отдельной GPU. При этом перед этапом самовнимания (селф-аттеншн) вычисляются QKV-проекции, а затем с помощью операции all_to_all данные перераспределяются так, что каждая GPU получает всю последовательность, но только часть голов. После вычисления самовнимания данные снова перераспределяются. Метод прост в реализации и эффективен при грамотном перекрытии вычислений и коммуникаций, подходит для мультимодальных сценариев. Однако у него есть ограничения: размер CP-группы не может превышать количество query-голов, а при использовании GQA требуется копирование KV-голов. Инженеры Яндекса применили Ulysses в Alice AI, что позволило ускорить обучение и увеличить контекст.
Канал в каталоге Максиметера
2 подписчиков · IT и технологии