Домашний ПК с двумя GTX 1660 Super запустил локальную Qwen 2.5
Домашний ПК с двумя GTX 1660 Super запустил локальную Qwen 2.5 McCake собрал домашнюю систему для локального запуска LLM на двух Nvidia GTX 1660 Super с суммарно 12 ГБ VRAM. База — Gigabyte GA-X79-UP4 и Intel Core i7-3930K, а сама машина работает под Ubuntu 24.04 с отключённой графической оболочкой и проприетарными драйверами Nvidia. Для проверки автор отправлял запросы через cURL и API Ollama. В этой конфигурации Ollama сама распределила модель по двум GPU примерно поровну, без ручной раскладки слоёв: по 4,5 ГБ VRAM на карту. Для Qwen 2.5 7B были зафиксированы 134,34 ток/сек на этапе prompt eval, 47,59 ток/сек на eval, TTFT 0,77 сек и 13,9 сек на 31 токен. Qwen 2.5 14B заняла около 75% памяти на каждой карте и выдала примерно 18 токенов в секунду, но не решила проблему модерации на сайте, после чего автор убрал у ИИ эти полномочия. При этом X79 с DDR3 остаётся компромиссной базой, а сам опыт показывает, что старый ПК и две массовые видеокарты могут тянуть локальную LLM, если заранее принять ограничения по памяти и роли модели. Такой подход полезен для домашних ИИ-экспериментов и веб-проектов, где важнее автономность и распределение нагрузки, чем безусловная универсальность. Источник: Habr Computer Hardware RU — https://habr.com/ru/articles/1093902/