Яндекс с нуля создал ИИ на 80 млрд параметров
Яндекс с нуля создал ИИ на 80 млрд параметров Яндекс разработал Alice AI Foundation LLM — новую большую языковую модель на 80 млрд параметров. В отличие от ряда предыдущих разработок компании, её обучили с нуля, без использования весов зарубежных моделей. Объём обучающих данных составил 18 трлн токенов. Модель построена на архитектуре Mixture of Experts: при обработке каждого токена работают не все 80 млрд, а около 3 млрд параметров. Это позволяет снизить вычислительную нагрузку. Яндекс открыл веса Alice AI Foundation LLM под лицензией Apache 2.0 — разработчики смогут свободно изучать модель, дообучать её под свои задачи и использовать в коммерческих ИИ-сервисах. 👉 Подписаться на Производства.рф в MAX / Telegram / ВК
806 просмотров