Yandex открыла исходный код AliceAI-T5-35B-A0.6B Base — своей базовой языковой модели, ... — 13 сентября 2026 г. в 14:52:01.392
Yandex открыла исходный код AliceAI-T5-35B-A0.6B Base — своей базовой языковой модели, которая используется для генерации быстрых ответов в поисковой выдаче Яндекса. Нейронка имеет архитектуру MoE, поэтому при 35 миллиардов общих параметров на запрос активируются лишь 600 миллионов параметров. В каждом MoE-слое размещено 512 экспертов, но для обработки конкретного токена маршрутизатор выбирает только 8, что позволяет существенно сократить вычисления относительно плотной модели сопоставимого размера. Архитектура AliceAI-T5-35B-A0.6B Base построена из 16 слоев энкодера и 12 слоев декодера. Для оптимизации кодирования применяются механизмы RoPE с YaRN, благодаря чему модель может с контекстом до 128K токенов. На задачах с фактами AliceAI-T5 заметно обходит большинство конкурентов. На CultCat она набрала 68,0 %, против 59,2 % у Qwen 3.5 35B-A3B, 44,0 % у Gemma 2 4B и 39,7 % у Qwen 3.5 4B. На WikiWebFacts результат составил 81,3 % против 62,4 % у Qwen 3.5 35B-A3B и 47,2 % у Gemma 2 4B. При этом модель не является безусловным лидером по всем задачам. На MMLU она получила 78,5 %, тогда как Qwen 3.5 35B-A3B — 84,4 %. На MMLU Pro — 56,3 % против 63,2 %, на GPQA — 41,3 % против 47,1 %. В математике AliceAI-T5 набрала 84,7 % на GSM8K, 62,9 % на MATH 500, а в программировании — 69,3 % на HumanEval и 71,9 % на MBPP. Веса лежат на Hugging Face. 😅 Канал Serverflow в MAX: Подписаться