RAG | Нейросети | ИИ | AI | Агенты | Gemini 4 Argon | Muse Wonder | Muse Spark Open | DeepSeek V4.1 | Claude Haiku 5.5 | GPT-6 Astra | Nemotron 3.5 | MiniMax M3.1 | Qwen3.6 | Grok 4.7 | GLM 5.3
IT и технологии · 24 октября 2026 г.
Делить головы внимания по восьми GPU кажется логичным. Ловушка MLA: латентный KV общий ...
Делить головы внимания по восьми GPU кажется логичным. Ловушка MLA: латентный KV общий на все 64 головы, и каждая GPU хранит полный кэш ради своих восьми. 26 FLOP на перемещённый байт против пика H200 в 206 — упор в память. PCP (prefill context parallel) режет по токенам: GPU считает за восьмую часть промпта, но со всеми головами. Кэш пересобирается каждый слой, зато 191 FLOP на байт, почти compute-bound. DCP (decode context parallel) раскладывает сам кэш: миллион токенов это 53,4 ГиБ FP8 на запрос при 15 ГиБ места на GPU, по восьми выходит 6,7. Замеры vLLM на двух узлах по восемь H200: префилл (PCP8 × DCP8, 512 ГиБ CPU offload) и декод (8 DP-рангов, HiSparse). Против DP8 с тем же HiSparse в декоде в 1,7–3,2 раза больше выходных ток/с на пользователя при равном throughput, медианный TTFT 0,8–0,9 с вместо 1,5–5,2. Контекст в 1M из протестированных конфигураций держит только эта связка.