MiniMax-M1: как модель меняет правила игры в мире ИИ
MiniMax-M1: как модель меняет правила игры в мире ИИ Модель MiniMax-M1 обещает перевернуть представление о больших языковых моделях. Она поддерживает до миллиона токенов на входе и генерирует цепочки рассуждений длиной до 80 000 токенов, при этом потребляя всего 25% вычислительных мощностей по сравнению с аналогами. Обучение модели обошлось примерно в 534 тысячи долларов, тогда как сопоставимые модели требуют миллионов долларов. Секрет эффективности — в гибридной архитектуре. Основу составляют блоки с линейным вниманием (Lightning Attention), а на каждые семь таких блоков приходится один блок с классическим Softmax-вниманием. Кроме того, используется архитектура Mixture-of-Experts: из 456 миллиардов параметров активны только 45,9 миллиарда в каждый момент времени. Команда разработала собственный алгоритм обучения — CISPO, который позволяет модели эффективнее учиться, не отсеивая «неожиданные» токены. Также были решены проблемы с рассинхроном точности вычислений и патологическими циклами повторений. MiniMax-M1 отлично справляется с длинными рассуждениями, анализом кода и работой с большими документами, но может разочаровать в задачах, требующих быстрого ответа или креативного текста. Модель требовательна к видеопамяти и пока не имеет удобных форматов для локального запуска.