Qwen4 уже здесь: 125 млрд параметров, в работе — только 6
Qwen4 уже здесь: 125 млрд параметров, в работе — только 6 Команда Qwen (Alibaba) 26 августа выложила открытые веса Qwen3.8-Flash-Next — превью архитектуры Qwen4. Это мультимодальная модель MoE (смесь экспертов: на каждый токен включается лишь часть сети). Всего 125 млрд параметров, но активны только 6 млрд. Плюс словарь из 51 млрд n-gram-эмбеддингов. Обучение, по словам команды, стоило около 1/9 цены Qwen3.7-Plus, а в коде и офисных задачах новая модель её обошла. Нативный контекст — 262 тыс. токенов. Гибрид Gated DeltaNet и Qwen Sparse Attention снижает цену длинного контекста. Веса на Hugging Face и ModelScope. Это не финальный Qwen4, а ранняя схема для сообщества... Источники: https://qwen.ai/blog?id=qwen3.8-flash-next https://huggingface.co/Qwen/Qwen3.8-Flash-Next #AI #Qwen #Qwen4 #Alibaba #OpenWeights #LLM