MiniCPM-V 4.7 35B-A3B: мультимодалка, которой не нужен серверный монстр
MiniCPM-V 4.7 35B-A3B: мультимодалка, которой не нужен серверный монстр Один перец собрал портфолио в духе необрутализма на MiniCPM-V 4.7 — и вот тут любопытен не дизайн, а сама модель, которая этот интерфейс и выдала. У MiniCPM-V 4.7 от OpenBMB 35 млрд параметров, но при обработке каждого токена реально пашут только 3 млрд. На выходе — свыше 17 токенов в секунду на iPad Pro M4 (16 ГБ) и больше 13 токенов в секунду на iPhone 17 Pro Max, причём в оптимизированной мобильной сборке жрёт она всего около 3 ГБ памяти. Есть и мелкая версия на 1 млрд параметров — под OCR, разбор графиков, математику и общее понимание инфы. Обе держат контекстное окно на 256 тысяч токенов, а веса, код для инференса и дообучения лежат в открытом доступе. Автор говорит, что в мультимодальном ИИ ему важнее не текст, а именно работа с визуалом, и ещё то, как эффективный и гибкий деплой вытаскивает такие штуки в народ. Подробнее: GitHub · Hugging Face 👉 Telegram | Max