Mistral выложила в открытый доступ модель на триллион параметров
Mistral выложила в открытый доступ модель на триллион параметров 29 октября Mistral AI открыла веса Mistral Large 4, которую внутри компании зовут «Le Chonk» — «Толстяк». Модель на триллион параметров построена на архитектуре Mixture of Experts: на каждый токен активируется лишь часть мощностей, около 49 млрд параметров. Веса лежат на Hugging Face без запроса доступа, есть квантованная сборка NVFP4 для видеокарт NVIDIA Blackwell. За три недели после превью модель дообучили: на Terminal-Bench 4.0 результат вырос с 28% до 41%, на BrowseComp — до 84,5%. Контекст — 1 млн токенов, принимаются текст и изображения. Для запуска в FP8 нужно около 1 ТБ диска, в NVFP4 — примерно 610 ГБ. Лицензия разрешает дообучение и бизнес, но для Model-as-a-Service нужна коммерческая лицензия.