Автор проверил, можно ли писать код с ИИ-агентом полностью на своём ноутбуке, без облач...
Автор проверил, можно ли писать код с ИИ-агентом полностью на своём ноутбуке, без облачных подписок и отправки кода на чужие серверы: запустить Qwen3 Coder и подключить агента. Это пользовательский кейс, а не официальные данные. • Модель на 30 млрд параметров в Q4_K_M весит около 19 ГБ: в 8 ГБ VRAM целиком не влезает, но частично выгружается в RAM • Вариант на 125 млрд в сжатии IQ1_M — 58,4 ГБ файлов и около 24,4 ГБ RAM и VRAM одновременно • Параметр llama.cpp --n-cpu-moe оставляет внимание и общие слои на видеокарте, а экспертов отдаёт процессору Небольшие модели в Q4–Q5 справляются с простыми задачами и работой через MCP, но требуют подробного ТЗ и проверки каждого шага. Процессор при генерации нагревался до 70–80 градусов #ИИагенты #чипы 🔹 Первый Нейронный · Ещё у нас: 📱 Технологии и гаджеты