Типичный программист | IT, программирование, разработка, ИИ
IT и технологии · 15 августа 2026 г.
Модель, которая помещается в 14 МБ вместе с весами — 15 августа 2026 г. в 08:27:39.746
Модель, которая помещается в 14 МБ вместе с весами Вызов функции по фразе человека обычно уезжает в облако или тянет локальную модель на сотни мегабайт. Cactus Compute выложила под MIT Needle 2: модель на 45 миллионов параметров, которая может делать это и на телефоне и в умном доме, а заодно вынимает из текста структуру по схеме. Веса вшиты в движок, бинарник занимает 14 МБ, сессия держится в пределах 28 МБ оперативки и не растёт с длиной разговора: контекст обрезан окном в 256 токенов, описания функций закреплены в нём как якоря. На бенчмарках авторов идёт вровень с FunctionGemma 270M, будучи в несколько раз меньше. Схемы функций компилируются в грамматику, ограничивающую каждый токен, поэтому ответ приходит структурой, а не текстом под парсинг. Ставится через pip install cactus-needle, а посмотреть без установки можно в браузерной песочнице, там же кнопка дообучения. #ии #опенсорс