Игры с локальными LLM-ками под теплым летним небом — 27 июля 2026 г. в 12:57:46.255
Игры с локальными LLM-ками под теплым летним небом Автор решил собрать знакомому колл-центр для бизнеса по ремонту окон. Все нейросети должны были работать локально: одна переводила речь в текст, другая разговаривала с клиентом, третья озвучивала ответы, а четвёртая контролировала их работу. Единственным платным сервисом оставалась IP-телефония Twilio Сначала для проекта купили компьютер за $1100 с AMD-процессором и 64 ГБ памяти. Система заработала, но отвечала примерно через пять секунд. Чтобы ускорить модели, автор купил RTX 5060 Ti с 16 ГБ видеопамяти, а когда одной карты оказалось мало — ещё одну. В итоге на железо ушло около $3000, а скорость ответа стала приемлемой для колл-центра Дальше автор рассказывает, какие открытые модели запускал на CPU и GPU, почему для локальных LLM особенно важен объём памяти и какие компьютеры лучше подходят для больших моделей. Опыт человека, который хотел сэкономить на подписках, а в итоге начал искать старый сервер на 256 ГБ памяти, потребляющий почти 4 кВт в полной версии: https://smart-lab.ru/mobile/topic/1333004