Звездный Qwen эпизод 4: новая архитектура
Звездный Qwen эпизод 4: новая архитектура Alibaba выложила Qwen3.8-Flash-Next. В конфиге класс модели называется Qwen4ExpForConditionalGeneration, model_type указан как qwen4_exp: это превью архитектуры, на которой будет построено семейство Qwen4. Так же делали с Qwen3-Next, чей гибрид Gated DeltaNet и Gated Attention потом раскатали на Qwen3.5, 3.6, 3.7 и 3.8. 125 миллиардов параметров, 6 миллиардов активных на токен, 512 экспертов, десять активных. Контекст 262 144 нативно, до миллиона через YaRN. Обучение, по словам Qwen, вышло примерно в девять раз дешевле Qwen3.7-Plus. Бенчмарки в изложении Qwen, конкурентов она прогоняла сама: ▪️ SWE-bench Pro: 62,5 против 53,4 у Claude Opus 4.6 и 56,0 у DeepSeek-V4-Flash ▪️ SWE-bench Multilingual: 81,0 против 77,5 у Opus 4.6 ▪️ CoWorkBench, внутренний бенчмарк Qwen на офисные задачи: 73,9 против 68,2 у Opus 4.6 ▪️ GPQA Diamond: 91,7 против 91,3 у Opus 4.6 ▪️ HLE: 35,9 против 40,0 у Opus 4.6, судья GPT-4o Цена в облаке 16 центов за миллион входных токенов и 47 за миллион выходных. Веса открытые, но не под Apache 2.0, под которой вышел тот же Qwen3.8-27B и почти вся линейка до него. Qwen Community License 1.0 требует отдельного соглашения, если вы продаете доступ к инференсу или делаете ассистента для кодинга и офисной работы. Примеры такого продукта в лицензии названы прямо: Qoder и QwenWork. Блог Веса @anti_agi