⚙️ 27B-модель теперь живёт на ноутбуке: 3 инструмента
⚙️ 27B-модель теперь живёт на ноутбуке: 3 инструмента Раньше нейросеть с 27 миллиардами параметров требовала серверную видеокарту за десятки тысяч долларов. Теперь она помещается в обычный ноутбук — и почти не тупеет. Как? Объясняю на пальцах. Всё дело в дискретном квантовании. Простыми словами: мозг нейросети — это миллиарды чисел («весов»), обычно точных и дробных. А здесь каждое число кодируется всего тремя значениями: -1, 0 и +1. Это как вместо полной книги взять её краткий конспект — смысл сохраняется, а вес падает в 9–14 раз. Что можно запустить прямо сейчас: - Bonsai 27B от PrismML — «тернарная» (трёхзначная) версия модели Qwen 3.6. Занимает 7,17 ГБ вместо 53,8 ГБ. Математика и код держатся на уровне ~75% от оригинала, а контекст — до 262K токенов (это почти целая книга). - Бинарная версия Bonsai — ещё агрессивнее: всего 3,8 ГБ. Влезает даже в 8 ГБ видеопамяти ноутбука. Качество чуть ниже, зато запускается почти на любом железе. - Форк llama.cpp от PrismML — специальная сборка популярного движка для запуска LLM. Стандартные фреймворки пока не понимают новые форматы весов, а этот форк — рабочий способ их запустить. Вывод: дискретное квантование впервые выглядит не игрушкой, а практическим инструментом. Если тренд продолжится — через пару лет модели в 10 раз больше будут работать на смартфоне. А вы уже пробовали запускать LLM локально? Какую модель гоняете? 👇 #ИИ #LLM #Квантование