🔬 llm-d: как time-slicing повышает загрузку GPU при RL-обучении с 40% до 70% — 27 июля 2026 г. в 14:30:23.977
🔬 llm-d: как time-slicing повышает загрузку GPU при RL-обучении с 40% до 70% Лаборатории, использующие RL для дообучения LLM, сталкиваются с простоями ускорителей: синхронные фазы сэмплирования и обучения чередуются, оставляя GPU пустыми до 60% времени. Асинхронные архитектуры частично решают проблему, но тренерам все равно приходится ждать данные. Проект llm-d предлагает cooperative time-slicing — динамическое чередование независимых RL-задач на общем оборудовании. Когда одна задача простаивает, инфраструктура сохраняет её состояние в оперативную память и загружает состояние другой задачи на GPU. 📊 Это позволяет увеличить загрузку ускорителей с ~40% до 70% без потери точности модели. 🔹 Первый Нейронный
64 просмотров