Модель на 35 миллиардов параметров запустили на iPhone, используя около 3 ГБ памяти. Ве...
Модель на 35 миллиардов параметров запустили на iPhone, используя около 3 ГБ памяти. Веса в воздухе не растворились — их научились вовремя подвозить с накопителя. Китайская команда OpenBMB выпустила MiniCPM-V 4.7. Это модель со зрением: картинки, документы и видео. Есть маленькая версия на 1 млрд параметров и большая 35B-A3B — у неё в каждом шаге работает лишь часть блоков, «экспертов». Чтобы телефон не ждал очередную порцию весов, система заранее угадывает, какие эксперты понадобятся дальше, и подгружает их. Плюс сжатие весов и более удобная раскладка на накопителе. На iPhone 17 Pro Max авторы сообщают о скорости больше 13 токенов в секунду. Это их замер на конкретном устройстве; 3 ГБ — рабочая память, не полный размер модели. Код, инструкции и ссылки на обе сборки уже открыты. Любопытный поворот: телефон учат работать с большой моделью, а не просто отправлять её вопросы куда-то в облако.