Модель на 27 млрд параметров можно теперь запустить локально на домашнем компе благодар...
Модель на 27 млрд параметров можно теперь запустить локально на домашнем компе благодаря PrismML, которые выпустили Bonsai 2 27B - сверхсжатую версию Qwen 3.8 27B 🙈 Вместо 54 гигов модель теперь занимает 5.9 Гб и по заявлению разрабов, несмотря на сжатие модель сохранила 98% среднего результата оригинала на бенчах 🌝 Объясню, что это значит в моих реалиях. У нас есть очень чувствительная информация, которую не очень хочется отдавать Антропику, OpenAI или любой другой подобной конторе потому, что нет гарантии, что они в эти данные не влезут с той стороны. Мы думаем над тем, чтобы взять несколько Mac Studio и развернуть на этом железе большую локальную нейронку, данные из которой никуда дальше этих Mac Studio не утекут, но это дорого и такой подход будет стоить где-то 3-4 млн рублей 🥲 С описанным выше методом нейронку можно будет развернуть на гораздо более простом железе и через какое-то время собственное решение сможет позволить для себя уже почти любой бизнес. Надо будет просто знать, что ты делаешь или нанять специальных людей, которые тебе все развернут и настроят 👨🏿💻 ИИ-агенты без оплаты дорогих токенов, чат, который отвечает тебе по существу и в который не стремно отдавать корпоративные данные, а еще и доступ без ускорителя интернета 🌝 Кайф же 🧙🏿♂️ Вангую появление сервисных компаний, которые будут делать такие решения и заниматься их поддержкой после развертывания 👾 Звучит как идея для стартапа 😁