Кажется, Яндекс решил плотно вкатиться в нейронки — компания представила новую базовую ...
Кажется, Яндекс решил плотно вкатиться в нейронки — компания представила новую базовую языковую модель AliceAI-Foundation-80B-A3B-Base с гибридной архитектурой и MoE-экспертами. Объем модели 80 млрд общих параметров, но для обработки каждого токена активируются только 3 млрд, а контекстное достигает 262 144 токенов. В архитектуре используется 48 слоёв, 512 экспертов MoE с выбором 10 экспертов на токен, а словарь нейронки достигает 129 024 токена. Для обработки длинного контекста используются механизмы KDA и Gated Attention, а также один слой MTP. В тестах AliceAI особенно сильна на русскоязычных данных. Она набрала 86,5% в WikiWebFacts, 67,9% в HardMultiQA и 74,2% в EduBench Russian. В MATH-500 результат составил 91,1%, а в LiveCodeBench v5-6 — 50,5% в режиме 1-shot. При сложном рассуждении модель получила 96,7% в AIME 2026 pass@32, 96,9% в HMMT 2026 Feb и 88,7% в IMO Answerbench. В CodeForces CPP результат составил 68,9%, а в LiveCodeBench v5-6 — 82,9% при pass@8. Веса доступны на Hugging Face. 😅 Канал Serverflow в MAX: Подписаться
Канал в каталоге Максиметера
156 подписчиков · Новости