🇨🇳 Alibaba готовит ❗️Qwen4 и планирует ❗️Qwen5 на 🤯10 трлн параметров
🇨🇳 Alibaba готовит ❗️Qwen4 и планирует ❗️Qwen5 на 🤯10 трлн параметров На конференции Apsara Conference 2026 в Ханчжоу Alibaba раскрыла информацию про семейство Qwen4, которое станет следующим поколением ИИ-моделей компании. В линейку войдут Qwen4-Max, Qwen4-Flash, Qwen4-Plus и Qwen4-27B, причём обучение Qwen4 уже началось. Флагманская Qwen4-Max будет ориентирована на максимальные возможности семейства, тогда как Flash и Plus должны предложить более выгодное соотношение производительности и стоимости. Отдельно Alibaba готовит Qwen4-27B для локального развёртывания. Будут ли опубликованы её веса, компания пока не уточнила. Самое интересное здесь скрывается под капотом. Ещё в августе Alibaba представила Qwen3.8-Flash-Next, которую сама Qwen Team назвала предварительным показом архитектуры будущей Qwen4. Это разреженная MoE-модель со 125 млрд параметров основного блока и ещё 51 млрд параметров N-gram Embedding, однако при обработке одного токена активируется около 6 млрд параметров. Архитектура сочетает Gated DeltaNet, Qwen Sparse Attention, Gated Residual и N-gram Embedding. Последний механизм позволяет значительно увеличивать ёмкость модели почти без пропорционального роста вычислений при обработке каждого токена. К слову говоря, обучение Qwen3.8-Flash-Next потребовало примерно 😮в 9 раз меньше вычислительных ресурсов, чем Qwen3.7-Plus. Более того, на Qwen4 масштабирование не закончится. Alibaba сообщила о планах довести Qwen4.5 и Qwen5 до 5–10 трлн параметров. Для сравнения, нынешняя Qwen3.8-Max содержит 2,4 трлн параметров. Таким образом, верхняя граница будущих моделей более чем в четыре раза превышает размер нынешнего флагмана. 👆В итоге Alibaba одновременно пытается решить две задачи. С одной стороны, компания продолжает масштабировать Qwen до многотриллионных ИИ-моделей. С другой, новая архитектура Qwen4 должна снижать стоимость обучения и инференса за счёт разреженных вычислений и более эффективной работы с контекстом. А появление Qwen4-27B показывает ещё одну важную вещь. Наряду с огромными облачными моделями Alibaba не отказывается от относительно компактных систем, которые можно развёртывать локально. ✋ @Russian_OSINT