Яндекс выложил 35 млрд параметров. Но поставить это вечером «вместо ChatGPT» не получится.
Яндекс выложил 35 млрд параметров. Но поставить это вечером «вместо ChatGPT» не получится. В открытый доступ ушла базовая модель быстрых ответов Поиска: 35,35 млрд параметров, но через MoE для каждого токена включается около 600 млн. Вот в чём интерес: тяжёлую модель пытаются сделать не прожорливым монолитом, а набором экспертов, которые не бегут все разом. Веса под Apache 2.0 и пример запуска лежат на Hugging Face. Можно дообучить под свой поиск, документы или русскоязычный Q&A. Но это именно pretrain: без инфраструктуры, датасета и дообучения получится не «корпоративный помощник», а дорогая коробка с деталями. Хорошая новость: у российских команд появился открытый фундамент. Плохая — фундаментом ещё надо уметь пользоваться. Яндекс объяснил, откуда он взялся.