Три компактные LLM для локального запуска — 4 августа 2026 г. в 10:08:16.043
Три компактные LLM для локального запуска А всегда ли нужна большая модель? Если честно, то нет. Ведь чаще всего для локального ассистента, автоматизации или обработки данных важнее скорость, приватность и возможность работать без облака. Именно поэтому ловите легкость и невесомость. LFM2.5-230M от Liquid AI Ультракомпактная модель на 230 млн параметров. Требует около 293 МБ памяти на Raspberry Pi 5 и 375 МБ на смартфоне. Хорошо справляется с извлечением данных, выполнением инструкций и вызовом инструментов. После дообучения её использовали как языковой интерфейс для управления роботом Unitree G1. Плюсы? Всего 230 млн параметров, занимает около 300–375 МБ, быстро работает на Raspberry Pi и смартфонах, умеет извлекать данные и вызывать инструменты. Минусы? Не поддерживает русский язык, не подходит для сложной математики, программирования и рассуждений. Где применять? управление роботами и умными устройствами, распознавание команд, заполнение полей, запуск готовых функций. Где посмотреть? 👉 сюда Qwen3-0.6B Модель на 600 млн параметров с контекстом до 32 тысяч токенов. Поддерживает 119 языков, включая русский, умеет переключаться между обычным режимом и рассуждениями, а также работать с внешними инструментами. Запускается локально через Ollama, LM Studio и llama.cpp. Плюсы? Понимает русский язык, занимает мало памяти, поддерживает контекст до 32 тысяч токенов и локальный запуск через Ollama, LM Studio или llama.cpp. Минусы? Может ошибаться в фактах, сложных рассуждениях, коде и длинных текстах. Где применять? Сортировка сообщений, обработка заявок, извлечение данных, заполнение CRM, краткие ответы и локальные ассистенты. Где посмотреть? 👉 сюда Bonsai 27B от PrismML Здесь компактность достигнута не уменьшением модели, а экстремальным сжатием Qwen3.6-27B. Тернарная версия занимает 5,9 ГБ и сохраняет около 95% качества оригинала. Бинарная занимает 3,9 ГБ, сохраняет около 90% качества и помещается в память iPhone 17 Pro. Модель поддерживает рассуждения, изображения и вызов инструментов. Плюсы? Сжатая версия модели класса 27B занимает 3,9–5,9 ГБ, работает локально, поддерживает рассуждения, изображения и вызов инструментов. Минусы? После сильного сжатия снижается качество агентных задач, следования инструкциям и анализа изображений. Требует заметно больше ресурсов, чем две предыдущие модели. Где применять? работа с закрытыми документами, локальные корпоративные помощники, поиск по базе знаний, обработка изображений и приватных данных. Где посмотреть? 👉 сюда Еще раз, друзья, модельки легкие, поэтому не ждите от них многозадачности. Было интересно и полезно, тогда делись с коллегами и друзьями. #AI #LLM #LiquidAI #Bonsai #Qwen #RaspberryPi #Нейросети