35B MoE на iPhone без сети: 3 ГБ RAM и 13 токенов/сек
35B MoE на iPhone без сети: 3 ГБ RAM и 13 токенов/сек 💡 Команда MiniCPM и OpenBMB представили MiniCPM-V 4.7 — первую открытую MoE-модель, способную плавно работать на мобильных устройствах без потери качества. Версия 35B-A3B (35 млрд общих параметров, 3 млрд активных) занимает всего 3 ГБ оперативной памяти. На iPhone 17 Pro Max в офлайн-режиме модель анализирует сложные графики: например, по карте похода Наполеона она точно определила дату (6 декабря 1812 г.) и температуру (-37,5 °C), выполнив конвертацию единиц за минуту. Скорость декодирования достигает 13 токенов в секунду, а после оптимизации — 8–12 токенов/с, что делает взаимодействие плавным даже без интернета. ⚡ Техническое превосходство обеспечивается алгоритмом Lookahead Expert Scheduling (LES). Он предсказывает, какие эксперты нейросети понадобятся на следующем слое, и заранее загружает их веса из флеш-памяти в RAM. Это позволяет подготовить более 80% необходимых компонентов до начала вычислений, минимизируя задержки. Дополнительно применяется квантование смешанной точности и оптимизация хранения весов. На iPad Pro M4 (16 ГБ) эти методы ускоряют декодирование в 5 раз. Для ускорения генерации также используется модель-черновик DSpark, которая повышает скорость еще на 17% на Mac M5. 🤔 Качество модели подтверждается высокими баллами в бенчмарках: 91,72 в MMBench, 80,22 в MMMU и 94,24 в OmniDocBench v1.6 (лидерство с отрывом более 12 баллов). Даже при 16-кратном сжатии визуальных данных точность остается стабильной (MMBench: 90,87). В задачах на понимание текста и инструментов модель также показывает лучшие результаты в классе: 90,21 в CMMLU и 84,65 в τ2-Bench. Мини-версия 1B (1,3 млрд параметров) эффективно выполняет OCR и распознавание формул, превращая сканы статей в Markdown за полминуты. 📌 Что это значит на практике: Разработчики получают инструмент для создания автономных AI-приложений, не зависящих от облака. Технология Self-Replay Fine-Tuning позволяет адаптировать модель под специфические бизнес-задачи без деградации базовых навыков, снижая стоимость кастомизации до уровня стандартного дообучения. 🚀 Рынок готов к такому прорыву: по прогнозу IDC, в 2026 году в Китае будет продано 147 млн AI-смартфонов (рост 31,6%), а доля устройств с edge-AI превысит 53%. CEO MiniCPM Ли Дахай называет 2026 год годом масштабного внедрения edge-AI. Модель поддерживает iOS, Android, HarmonyOS и чипы от Intel, AMD, Arm. Совокупные загрузки серии MiniCPM превысили 50 млн, подтверждая тренд на «закон плотности», согласно которому эффективность моделей растет, а требования к ресурсам падают. Перевод и адаптация: AI Lab. Источник: QbitAI (量子位), https://www.qbitai.com/2026/10/503109.html #AI #LLM #EdgeAI #MiniCPM #MobileAI #OpenSource