R

RAG | Нейросети | ИИ | AI | Агенты | Kimi K3.1 Pro | Gemini 4 Carbon | Claude Haiku 5.5 | Mistral Large 4 | Muse Wonder | LongCat-2.5 | GPT-6 Cyber | ERNIE 5.5 | Genie 4 | Muse Spark | JEPA | Flint

IT и технологии · 28 июля 2026 г.

Открыть канал в MAX

Нейронка на твоём ноуте — без облака и подписок. Секрет в квантовании.

Нейронка на твоём ноуте — без облака и подписок. Секрет в квантовании. Модель на 7 млрд параметров весит 14 ГБ. Сожмём веса с 16 бит до 4 — и вот уже 3,5 ГБ, влезает даже в GTX 1660. Потери качества по бенчмаркам QLoRA — 1–3%, почти незаметно. Формат GGUF (который тянет ollama) и llama.cpp делают всё сами: одна команда — и нейронка работает локально. #квантование #LLM #локальныйAI