🛠️ HARP сжимает LLM до 2 бит и сохраняет 90% скорости
🛠️ HARP сжимает LLM до 2 бит и сохраняет 90% скорости HARP помогает сжимать большие языковые модели до 2 бит, снижая ошибку на 12–15% и сохраняя 90% скорости стандартного сжатия. По сообщению представителей МФТИ, алгоритм проверили на Llama 2–70B и Qwen3-8B: модели работали примерно в 2,1 раза быстрее полной версии и теряли меньше информации, чем при стандартном подходе. Инструмент полезен тем, кто запускает LLM локально или на ограниченной инфраструктуре: сжатые модели занимают меньше памяти. Код HARP опубликован на GitHub, готовые модели — на Hugging Face. ⚠️ Ограничение: HARP не заменяет квантование, а работает поверх него и требует дополнительной калибровки для настройки преобразований каждого слоя. 🔹 Первый Нейронный
1 просмотров