Mistral представила Large 4 — модель на 1,05 трлн параметров с именем Le Chonk
Mistral представила Large 4 — модель на 1,05 трлн параметров с именем Le Chonk Внутри компании новый флагман официально называют Le Chonk — в честь мема Le Chaton Fat, выдуманной гигантской модели Mistral, появившейся в соцсетях несколько месяцев назад. Large 4 использует MoE — архитектуру, где на каждом шаге работает только часть модели: из 1,05 трлн параметров активны 49 млрд. Модель мультимодальная — работает с разными типами данных, включая изображения. Контекст вмещает до 1 млн токенов — фрагментов текста, которые обрабатывает модель. Доступ уже открыт через API — интерфейс для программ — в режиме public preview, публичного предварительного доступа. По собственным тестам Mistral, Large 4 задаёт новую SOTA — лучший уровень результатов — среди открытых моделей США и Европы. Компания особо выделяет программирование, кибербезопасность и финансы. В обнаружении объектов на изображениях модель, по этим же тестам, превосходит даже некоторые передовые закрытые модели. Обучение с нуля заняло около двух месяцев на 4 000 Nvidia Grace Blackwell. Источник отмечает, что для такого размера модели это довольно компактный вычислительный кластер. Веса Large 4 — обученные параметры модели — обещают выпустить 27 октября. Веса Large 4 — обученные параметры модели — обещают выпустить 27 октября: https://mistral.ai/news/mistral-large-4/ Источник: https://t.me/data_secrets/10108 #RealVibe #AI #AI_Новости