R

RAG | Нейросети | ИИ | AI | Агенты | Gemini 4 Argon | Claude Haiku 5.5 | Mistral Large 4 | Muse Wonder | Muse Spark Open | DeepSeek V4.1 | Nemotron 3.5 | Beam 1.0 | Nano Banana 2.1 | GPT-6 | Jais 3

IT и технологии · 20 октября 2026 г.

Открыть канал в MAX

Шаг декодирования в MoE читает веса каждого эксперта, куда попал хоть один токен батча....

Шаг декодирования в MoE читает веса каждого эксперта, куда попал хоть один токен батча. Смешанный батч трогает почти все 128, отсортированный — меньше. Правок в модели и ядрах нет, только порядок перед generate. На Qwen3-30B-A3B в vLLM около +12–17% throughput. Только офлайн-пачки (evals, разметка, синтетика), не чат: пока копишь батч, запросы ждут. Bf16-выходы разойдутся, как при перемешивании; бит-в-бит нужны batch-invariant ядра.