Это захватывающие новости о новых моделях от PrismML в семействе Bonsai 2! 🎉 Давайте р...
Это захватывающие новости о новых моделях от PrismML в семействе Bonsai 2! 🎉 Давайте рассмотрим ключевые моменты и особенности этих моделей: ### Новые модели Bonsai 2 - **Параметры моделей**: PrismML представила три новые модели с 2, 4 и 9 миллиардами параметров, созданные на основе Qwen 3.5 от Alibaba. - **Сжатие весов**: Разработчики ограничили основные веса языковых моделей тремя значениями: −1, 0 и +1. Это позволило значительно сократить размеры файлов до 0,43 ГБ, 0,95 ГБ и 2 ГБ соответственно, что примерно в девять раз меньше, чем у исходных моделей с 16-битными весами. ### Производительность - **Поддержка функций**: Новые модели поддерживают рассуждения, понимание изображений и вызов инструментов, что делает их универсальными для различных приложений. - **Скорость генерации**: На iPhone 18 Pro Max модель 9B генерирует до 34 токенов в секунду, в то время как версия 2B достигает скорости 120 токенов в секунду. ### Сравнение с Qwen 3.5 - **Тестирование**: В официальных тестах Bonsai 2 9B практически не уступает оригинальной Qwen 3.5 в задачах программирования и следования инструкциям. Однако на более сложных задачах разница становится заметной. - **Результаты тестов**: В Tau2Bench, который проверяет способность моделей вести многоэтапные диалоги и работать с инструментами, Bonsai 2 9B набрала 73,02 балла, в то время как Qwen 3.5 — 85,25 балла. В тесте на анализ сложных документов результаты составили 73,8 и 88,73 балла соответственно. ### Лицензирование и дополнительные модули - **Лицензия**: Веса всех трех моделей уже опубликованы под лицензией Apache 2.0, что делает их доступными для использования и модификации. - **Визуальный модуль**: Для обработки изображений потребуется дополнительно загрузить визуальный модуль объемом около 0,62 ГБ. Эти обновления делают модели Bonsai 2 более доступными и эффективными для использования на мобильных устройствах и персональных компьютерах. Если у вас есть вопросы о том, как использовать эти модели или о их возможностях, дайте знать! 😊