Компания Cactus анонсировала Needle 2 — сверхкомпактную языковую модель с 45 миллионами...
Компания Cactus анонсировала Needle 2 — сверхкомпактную языковую модель с 45 миллионами параметров, предназначенную для автономной работы на недорогих устройствах без GPU и NPU. Needle 2 полностью умещается в 14 МБ и требует не более 28 МБ оперативной памяти, что позволяет запускать её на смартфонах до $200, Raspberry Pi и даже некоторых микроконтроллерах. Модель оптимизирована для структурированных задач, например, управления устройствами, обработки запросов инструментов и извлечения данных, обеспечивая высокую скорость и энергоэффективность. Needle 2 распространяется по открытой лицензии Apache 2.0, доступна для самостоятельной дообучки и уже используется, например, в умных аксессуарах Pebble для офлайн-обработки голосовых команд. Источник: https://cactuscompute.com/needle
Канал в каталоге Максиметера
341 подписчиков · IT и технологии