Gemma 4 26B «в 2 ГБ памяти»: что за этим стоит и как это работает
Gemma 4 26B «в 2 ГБ памяти»: что за этим стоит и как это работает Проект TurboFieldfare сообщил, что запускает текстовую Gemma 4 26B локально примерно в 2 ГБ оперативной памяти на Apple Silicon. Важная оговорка: это специализированная low-memory конфигурация, а не универсальный минимум для этой модели. Как это устроено. Gemma 4 26B A4B — MoE-модель: около 25,2 млрд параметров всего, но на каждый токен активны примерно 3,8 млрд (8 из 128 экспертов плюс один общий). TurboFieldfare держит в памяти только общее ядро модели (~1,35 ГБ), FP16 KV-кэш и недавно использованные экспертов, а остальных по мере генерации подгружает с SSD. На плотных моделях такой трюк не работает — там каждый вес участвует в каждом проходе. За заголовком «2 ГБ» стоят условия: используется KV-кэш на 4K токенов, а не полный контекст модели до 256K; локальная установка занимает около 14,3 ГБ на диске; скорость зависит от SSD, кэша и поколения железа; поддерживается только текст, без изображений, аудио и видео. Скорость генерации сильно зависит от железа: 5,1–6,3 токена в секунду на MacBook Air M2 с 8 ГБ и 31–35 токенов на M5 Pro с 24 ГБ. Это измерения сообщества, а не официальные бенчмарки Google; автор отмечает, что темп пригоден для пакетных задач на слабых Mac, но не для чата в реальном времени на самом медленном железе. Есть и официальный облачный путь: Google даёт доступ к модели gemma-4-26b-a4b-it через Gemini API — с вводом текста и изображений, системными инструкциями, режимом «мышления» и function calling. Сейчас тариф для Gemma 4 в API бесплатный, но Google может использовать содержимое запросов из free tier для улучшения своих продуктов, а бесплатный доступ не является обязательством постоянных цен. Прямое сравнение стоимости неоднозначное: раз API бесплатен в рамках free tier, локальный запуск не автоматически дешевле. Амортизация условной машины за $1200 — это $50 в месяц, или $12,5 за 1 млн токенов при 4 млн токенов в месяц, но такая оценка не учитывает электричество, износ SSD, инженерное время, ретраи и простой. Автор предлагает считать стоимость на принятую задачу, а не по цене токена. Производственный статус тоже разный. Экспериментальный OpenAI-совместимый сервер TurboFieldfare слушает на 127.0.0.1:8080 и не имеет удалённой аутентификации и TLS — он рассчитан на локальную разработку. Он может возвращать tool calls, но приложение обязано проверять и исполнять их само: модели нельзя давать прямое исполнение инструментов. Выбор между API, локальным запуском и гибридом автор советует делать по качеству, задержке, приватности, пропускной способности и итоговой цене за принятую задачу, а не по заголовку «2 ГБ». Источник: https://dev.to/mayacollins1/gemma-4-26b-local-vs-api-2gb-setup-speed-and-cost-345h