«ЯНДЕКС» ВПЕРВЫЕ РАСКРЫЛ АРХИТЕКТУРУ ИИ-ОТВЕТОВ В ПОИСКОВИКЕ
«ЯНДЕКС» ВПЕРВЫЕ РАСКРЫЛ АРХИТЕКТУРУ ИИ-ОТВЕТОВ В ПОИСКОВИКЕ «Яндекс» выложил в открытый доступ Alice AI Search Pretrain — свою компактную языковую модель, обученную с нуля. Она обладает обширными знаниями и способна быстро давать содержательные ответы даже при большом количестве запросов. «Яндекс» опубликовал базовую версию модели, дообученная версия которой используется при генерации ИИ-ответов в «Поиске». Выложили ее на платформе Hugging Face. Теперь разработчики смогут применять ее в своих проектах, а исследователи — изучать архитектуру модели. Alice AI Search Pretrain прошла первый этап обучения. Большие вычислительные мощности при работе с ней не понадобятся. «Яндекс» использовал гибридную архитектуру, ранее встречавшуюся преимущественно в научных исследованиях. В ее основу легли две технологии: «Энкодер-декодер» (Encoder-Decoder) и MoE (Mixture of Experts). За лаконичный ответ отвечает первая технология. Одна ее часть изучает и отбирает информацию, а другая генерирует ответ. Благодаря второй технологии модель работает быстрее и экономит вычислительные мощности. MoE задействует не всю нейросеть, а активирует только ту часть «мозга», что связана с конкретной темой. Alice AI Search Pretrain состоит из 35 миллиардов параметров. Однако, когда ей нужно отработать один токен, то есть сгенерировать небольшой фрагмент текста, она использует около 600 миллионов параметров. Это менее 2%. Несмотря на экономию ресурсов, качество ответов модели не страдает. Когда дело доходит до задач по русскому языку, модель «Яндекса» превосходит другие компактные языковые модели. Во время замеров, проводившихся методом слепого тестирования, Alice AI Search Pretrain отвечала лучше Qwen 3.5 2B и 4B и T5 Gemma 2 4B-4B Base. При сравнении с Qwen 3.5 35B-A3B, которой нужно намного больше вычислительных ресурсов, результаты оказались сопоставимыми. Источник: Naked Science #времявперёд!