👥 Домашний сервер на Tesla V100: 32 ГБ видеопамяти под модели
👥 Домашний сервер на Tesla V100: 32 ГБ видеопамяти под модели Автор собрал домашний сервер для локальных моделей на Tesla V100 32 ГБ с переходником SXM2→PCIe и по ходу замеров выяснил, что половина его прежних выводов о скорости — ошибки измерения. 📊 По его данным, модель на 30 млрд параметров целиком помещается в 32 ГБ видеопамяти. Сборка с V100 и 96 ГБ ОЗУ обошлась в 80 тр без учёта уже имевшегося ПК. При переходе с 48 на 96 ГБ ОЗУ та же модель на 25K токенов читала запрос вдвое быстрее (1 112 против 547 ток/с) и генерировала на 31–87% быстрее. Для 128K контекста на Qwen3-30B пришлось взять q8_0 KV-кэш, иначе модель не влезает в карту, — поэтому сравнение с Ollama не совсем честное. Для длинных контекстов автор советует llama.cpp, но тот вдвое медленнее Ollama. 🔹 Первый Нейронный