RAG | Нейросети | ИИ | AI | Агенты | Claude Duet | Muse Wonder | Gemini 4 Argon | Claude Haiku 5.5 | DeepSeek V4.1 | Qwen3.6 | Muse Spark Open | Nemotron 3.5 | MiniMax M3.1 | Kimi K3 | GLM 5.3
IT и технологии · 22 октября 2026 г.
Flint от Recursive — MoE для кодинг-агентов. 49 слоёв, и только 14 видят весь контекст....
Flint от Recursive — MoE для кодинг-агентов. 49 слоёв, и только 14 видят весь контекст. Остальные 35 смотрят на последние 513 токенов, от 262 144 это 0,2%. Отсюда и дешёвый длинный контекст: KV-кэш на всё окно держат лишь 14 слоёв, 28 КиБ на токен. Сто тысяч токенов — около 2,9 ГБ вместо 10 ГБ при полном внимании во всех слоях. 39,8B параметров при 2,5B активных, 256 экспертов top-6 плюс общий, Apache 2.0, образ vLLM day-0. Веса 79,6 ГБ BF16 или 22,9 ГБ NVFP4. Скорость около 485 ток/с на одной GB200 при 100K, но это batch-1 и замер самих разработчиков, независимых прогонов нет. https://huggingface.co/RecursiveSI/flint