Обновление про Strata и QWEN 3.8 flash next.
Обновление про Strata и QWEN 3.8 flash next. Дело было не в бобине. Перенес модель на ssd с hdd и сразу все полетело. Примерно 100-140ток/сек генерация на 2х5070ti + 3090, ОЗУ 64Gb 3800 ddr4, ssd nvme samsung 960, razen 3600. Запустил квант IQ3_XXS, в полном контексте, подключил ламповый claude code и пустил тестировать на внешнем отчете для бухгалтерии. ~/.local/bin/strata launch \ --gpu 0,1,2 \ --family qwen \ --model IQ3_XXS \ --context 256k \ --parallel 1 \ --vision off \ --access lan \ --port 8000 \ --api-key 123456 \ --yes \ --no-tui
13 просмотров