🧬 Яндекс открыл доступ к новой языковой модели для разработчиков
🧬 Яндекс открыл доступ к новой языковой модели для разработчиков Компания Яндекс представила собственную разработку Alice AI Foundation. В основе системы лежит архитектура MoE, которая эффективно распределяет вычислительные мощности и сохраняет точность обработки данных. Проект ориентирован на повышение производительности нейросетевых вычислений. В проекте реализованы следующие технологические решения: ⚪️ использование 80 миллиардов параметров при активации 3 миллиардов на токен ⚪️ оптимизация обмена данными между видеокартами для ускорения процессов ⚪️ внедрение базы для логических рассуждений на этапе предварительного обучения ⚪️ достижение высоких результатов в тестах по программированию и математике Продукт распространяется под свободной лицензией Apache 2.0. Это позволяет сторонним специалистам дообучать модель под свои задачи. Веса нейросети уже опубликованы на платформе Hugging Face. #ИИ #нейросети #новыетехнологии