Как 17B активных разносят 70B плотных: анатомия Mixture-of-Experts (MoE)
Как 17B активных разносят 70B плотных: анатомия Mixture-of-Experts (MoE) Прохлопал тот момент, когда разработчики нейронок мерились, у кого циферка рядом с названием модели толще? А когда протёр глаза — нихрена себе, уже модно выпендриваться скромным числом активных параметров. Тогда эта статья ровно для тебя. Сегодня разжуют без соплей: с какого такого перепуга все опенсорсные флагманы разом уехали в MoE, почему Qwen3.5 на 397 миллиардов параметров строчит токены так, будто у неё всего 17, и почему на видеокартах при этом никто не разорился. А тем, кто зашёл «только спросить», сольют тайну: и в каком кабинете, собственно, обитает тот самый медицинский эксперт. Читать далее 👉 Data Science | Machinelearning [ru]
41 просмотров