Яндекс выпустил в открытый доступ модель быстрого ответа для Поиска – Alice AI-T5-35B-A...
Яндекс выпустил в открытый доступ модель быстрого ответа для Поиска – Alice AI-T5-35B-A0.6B. Она разработана с нуля и используется для генерации быстрых ответов Алисы. Модель доступна на Hugging Face, а подробности можно найти на Хабре. Поиск – это самый массовый генеративный продукт, обрабатывающий сотни тысяч запросов в минуту, и на каждый нужно быстро находить и фильтровать информацию. Большие модели тут не подойдут из-за медлительности и высоких затрат, поэтому Яндекс разработал многоуровневую систему. Сначала небольшая BERT-подобная модель (80 млн параметров) отсекает ненужную информацию из документов, обучаясь на 4 трлн токенов. Затем используется RL для сокращения контекста, что увеличивает пропускную способность на 40% без потери качества. Генератор представляет собой гибрид Encoder-Decoder и MoE (Mixture of Experts), где активности нескольких малых сетей регулируются маршрутизатором на уровне токенов. В модели 35 млрд параметров, но задействуется только 600 млн на каждом токене, что позволяет сохранить объем знаний большой модели, но с затратами, как у маленькой. При масштабировании команда столкнулась с проблемами в роутинге, которые решены переходом на aux-free routing из DeepSeek-V3. Уникальность модели в том, что она дообучается не только на данных, но и на реальном поведении пользователей, собрав реворд-модель для оценки ответов, что помогает угадывать запросы более точно. По бенчмаркам Alice AI выигрывает 77% сравнений с Qwen 3.5 2B и 69% с T5 Gemma 2 4B. Несмотря на 44% победы с более крупной моделью Qwen 3.5 35B-A3B, она удобнее по затратам на инференс. В слепом сравнении продовая версия показала 56,7% побед у Google AI Overview и увеличила активность пользователей. Команду можно поздравить с отличным результатом. Главный вывод: важна не только модель, но и её окружение – поиск, экстрактор контекста и реальные пользовательские данные. Это создает замкнутый цикл: больше пользователей – лучше модель, больше пользователей… Такие решения есть только у немногих компаний.