Atomic Chat позволяет локально, полостью офлайн, запускать довольно мощные ИИ-модели на...
Atomic Chat позволяет локально, полостью офлайн, запускать довольно мощные ИИ-модели на обычном потребительском железе — достаточно даже MacBook Air с 16 ГБ оперативной памяти. Ключевая технология — новый метод сжатия TurboQuant от Google Research. Он решает главную проблему современных моделей — нехватку RAM. Алгоритм уменьшает объем памяти для контекста в 6 раз и одновременно до 8 раз ускоряет вычисления, позволяя модели быстрее «думать» без заметной потери качества. Это достигается за счет более эффективного представления данных и встроенной коррекции ошибок. Atomic Chat фактически выступает в роли удобного интерфейса для этой технологии (на базе llama.cpp и интерфейса Jan), делая ее доступной для обычных пользователей. В результате на локальной машине c весьма скромным «железом» можно запускать модели уровня Qwen3.5-9B с длинными промптами и без обращения к облаку — ваши данные не увидит никто. 🛸 Подпишись: ТехноБудущее https://max.ru/id234706117299_biz5 #технологии #инновации #гаджеты #будущее #ИИ #сжатие #технология #локально #модели