Российские исследователи запустили 2-битную нейросеть в 2,1 раза быстрее несжатой версии
Российские исследователи запустили 2-битную нейросеть в 2,1 раза быстрее несжатой версии Российские исследователи разработали алгоритм HARP, позволяющий сильно сжимать большие языковые модели, сохраняя значительную часть их возможностей. В испытаниях 2-битная версия нейросети Llama 2 с 7 миллиардами параметров генерировала 128 токенов в секунду против 61 токена у исходной 16-битной модели. Таким образом, скорость генерации текста выросла примерно в 2,1 раза без изменения архитектуры нейросети. Разработку… Подробнее: https://new-science.ru/rossijskie-issledovateli-zapustili-2-bitnuju-nejroset-v-2-1-raza-bystree-neszhatoj-versii/
78 просмотров