Две RTX 3060 12 ГБ ускорили локальный coding-backend на длинном контексте
Две RTX 3060 12 ГБ ускорили локальный coding-backend на длинном контексте Автор собрал дома локальный вычислительный блок для coding-agent'ов на базе Core i7-4790, 32 ГБ DDR3 и двух RTX 3060 по 12 ГБ, чтобы меньше зависеть от облачных лимитов и тарифов. В стартовой конфигурации Qwen3.8–27B Q4 при длинном контексте генерация падала примерно до 9–10 токенов/с, а переход с режима layer на tensor дал почти двукратное ускорение decode. В основном long-context benchmark на ~120K токенов скорость выросла с 8.89 до 28.16 токенов/с, а в реальной сессии OpenCode средневзвешенная скорость составила 39.6 токенов/с при контексте более 100K. Финальный конфиг на llama.cpp b10991 использовал tensor split, Q8 KV-cache и встроенный MTP с n-max=3; n=3 в OpenCode оказался быстрее n=1. При этом внешний MTP с tensor и полным 128K не помещался в память, а NCCL на этой PHB-топологии оказался медленнее внутреннего all-reduce примерно на 7%. Практический смысл здесь простой: для долгих agent-сессий на двух GPU важнее проверять полный контекст и выбранный режим распараллеливания, чем ориентироваться только на короткие запуски. Источник: Habr Video Cards RU — https://habr.com/ru/articles/1086742/