Needle 2: ИИ-агент весом 14 МБ для смартфонов и микроконтроллеров
Needle 2: ИИ-агент весом 14 МБ для смартфонов и микроконтроллеров Cactus Compute выпустила Needle 2 — компактную модель на 45 млн параметров, которая умеет вызывать инструменты и управлять устройствами, занимая всего 14 МБ и около 28 МБ оперативной памяти. Это не очередной «маленький LLM». Needle 2 заточена именно под tool-calling (вызов функций) и structured extraction (извлечение данных по схеме). Архитектура Simple Attention Network + квантизация CQ2-bit позволяют модели работать на Raspberry Pi 5 (500 токенов/с), дешёвых телефонах, VR-гарнитурах и даже микроконтроллерах вроде ESP32-S3. На бенчмарках tool-calling она соревнуется с моделями в 5–70 раз крупнее, работающими в полной точности. Главное преимущество — настоящая приватность и нулевая задержка. Агент может жить прямо на устройстве, управлять умным домом, парсить документы или вызывать локальные функции без облака. Лицензия Apache 2.0, веса открыты. Похоже, эпоха «ИИ только в дата-центрах» потихоньку заканчивается — и начинается эпоха агентов в кармане и на часах. Источники: https://cactuscompute.com/needle https://github.com/cactus-compute/needle https://huggingface.co/Cactus-Compute/needle2 #AI #EdgeAI #OnDeviceAI #LLM #AgenticAI #Needle2