Liquid AI: 4-битные модели LFM2.5 почти как полноразмерные — новый трюк с дистилляцией
Liquid AI: 4-битные модели LFM2.5 почти как полноразмерные — новый трюк с дистилляцией Liquid AI выпустила обновлённые Q4_0-чекпоинты семейства LFM2.5 (230M, 350M, 1.2B и 2.6B), обученные методом Quantization-Aware Distillation (QAD — дистилляция с учётом квантования). Модели сохраняют низкий расход памяти и высокую скорость классического Q4_0 GGUF, но восстанавливают около 97 % качества полноценных BF16-версий. Обычная пост-тренировочная квантизация сильно бьёт по точности маленьких моделей. QAD учит квантованную «студенческую» модель компенсировать ошибки, копируя поведение полноразмерного учителя прямо во время обучения. В итоге 230M и 350M версии по качеству почти догоняют более тяжёлые Q5, оставаясь быстрее и компактнее. Это особенно важно для edge-устройств — телефонов, Raspberry Pi и локальных агентов, где каждый мегабайт и токен в секунду на счету. Для разработчиков локальных и агентских систем это практичный шаг: сильные маленькие модели становятся реально доступными без тяжёлого железа... Источники: https://www.liquid.ai/blog/qad https://huggingface.co/LiquidAI #AI #LiquidAI #LFM25 #EdgeAI #Quantization #OnDeviceAI