Ulysses: как обучать модели на длинных текстах
Ulysses: как обучать модели на длинных текстах Обучение моделей на длинных текстах требует огромного объёма памяти. Например, для обучения Qwen3-235B на контекст в 131 тысячу токенов нужно более 100 ГБ только под активации. Как решить эту проблему? Метод Ulysses предлагает разбить последовательность на части и обрабатывать каждую на отдельной GPU. При этом каждая GPU хранит и обрабатывает только часть последовательности. Перед вычислением самовнимания (селф-аттеншна) определяются QKV-проекции, затем происходит обмен данными между GPU (all_to_all), что позволяет каждой GPU вычислить самовнимание независимо. Преимущества метода: простота реализации, эффективность при грамотном перекрытии вычислений и коммуникаций, универсальность (подходит для линейных вариантов и мультимодальных сценариев). Однако есть ограничения: размер CP-группы (Context Parallelism) не может превышать количество query-голов, а при использовании GQA требуется копирование KV-голов. Кроме того, метод может быть ресурсоёмким при межхостовых коммуникациях. Инженеры Яндекса применили Ulysses в Alice AI, что позволило ускорить обучение и увеличить размер контекста. Ссылки из исходного поста: Душный NLP Материалы по ссылкам: 1. DeepSpeed Ulysses: System Optimizations for Enabling Training of Extreme Long Sequence Transformer Models Что в статье: DeepSpeed Ulysses — это методология для оптимизации обучения больших языковых моделей (LLM) с крайне длинными последовательностями. Она обеспечивает эффективное и масштабируемое обучение за счёт разделения входных данных по размерности последовательности и использования эффективного коллективного взаимодействия «все-со-всеми» для вычислений внимания. Теоретический анализ показывает, что DeepSpeed Ulysses поддерживает постоянный объём коммуникации при увеличении длины последовательности и количества вычислительных устройств пропорционально. Экспериментальные оценки демонстрируют, что DeepSpeed Ulysses обучается в 2,5 раза быстрее при Источник материала: ссылка 2. Душный NLP Что в статье: Канал «Душный NLP» содержит разборы свежих статей от NLP-специалистов Яндекса. Предоставляет подробную и полезную информацию. Источник материала: ссылка Источник: оригинальный пост