Запускаем модель на 125 млрд параметров на игровой видеокарте — благодаря технологии St...
Запускаем модель на 125 млрд параметров на игровой видеокарте — благодаря технологии Strata для локального запуска Qwen3.8-Flash-Next достаточно всего 12 ГБ (!) памяти. На обычном ПК с RTX 5070, по замерам разработчиков, скорость составит: • 94 токена в секунду с квантизацией Q2_0; • 53 токена в секунду с IQ3_S. Нюанс: при использовании Q2 веса сжимаются, поэтому скорость стоит оценивать в связке с качеством ответов под конкретные задачи. Доступна поддержка Windows и Linux, а также локальный API, совместимый с OpenAI и Anthropic, для подключения приложений и агентов. Забираем тулзу тут.
369 просмотров
Канал в каталоге Максиметера
3 042 подписчиков · IT и технологии