Попытка сжатия LLaMA-7B до 1 ГБ без переобучения
Попытка сжатия LLaMA-7B до 1 ГБ без переобучения Автор публикации описал эксперименты по уменьшению размера модели LLaMA-7B до 1 ГБ без использования методов переобучения, дистилляции или изменения архитектуры. Целью было найти более компактное представление существующих весов модели. В результате, несмотря на то, что получить модель объемом 1 ГБ с качеством квантизации Q8 не удалось, удалось обнаружить способ улучшения восстановления отдельных весов, что привело к неожиданному эффекту – снижению общей производительности модели. Проект PCST включает в себя более 60 проверенных методов и конфигураций, а также выявил системные ошибки и неэффективность некоторых подходов. Источник: https://habr.com/ru/articles/1080480
15 просмотров