Ternary Bonsai 2: новые компактные ИИ-модели для локального запуска
Ternary Bonsai 2: новые компактные ИИ-модели для локального запуска На платформе Hugging Face вышли новые версии компактных языковых моделей Ternary Bonsai 2 — с параметрами 2B, 4B и 9B. Эти модели предназначены для работы на устройствах с ограниченными ресурсами, включая браузеры и ноутбуки. Особый интерес представляет версия 2B: благодаря кастомным WebGPU-ядрам она способна работать прямо в браузере, достигая скорости до 500 токенов в секунду на чипе Apple M4 Max. Это делает Ternary Bonsai 2 одной из самых быстрых моделей для локального запуска, что открывает новые возможности для создания офлайн-приложений и сервисов с ИИ на клиентской стороне. Модели Ternary Bonsai 2 используют троичное квантование, что позволяет значительно сократить размер и вычислительные затраты без серьёзной потери качества. Это особенно важно для разработчиков, которые хотят интегрировать ИИ в мобильные приложения, браузерные расширения или встраиваемые системы. Проект является открытым, и исходный код доступен в репозитории на GitHub, что позволяет сообществу изучать, дорабатывать и адаптировать модели под свои задачи. Это ещё один шаг к демократизации доступа к современным ИИ-технологиям. Главное: • Три версии моделей: 2B, 4B и 9B • 2B работает в браузере со скоростью 500 ток/с • Троичное квантование снижает требования к ресурсам • Открытый исходный код на GitHub • Подходит для офлайн-приложений и встраиваемых систем #ИИ #LLM #OpenSource #Модели #WebGPU