Личная нейросеть на домашнем компьютере: без подписок, лимитов и логирования
Личная нейросеть на домашнем компьютере: без подписок, лимитов и логирования Автор материала перевёл работу с языковой моделью на домашний компьютер: собрал личный сервер с нейросетью и обращается к нему и из дома, и с телефона. Причина — надоели платные подписки, лимиты токенов (токен — кусочек текста, которым модель измеряет объём запроса) и ощущение, что каждый запрос где-то логируется. Цифр затрат автор не приводит: вместо подписки он теперь платит только за электричество. Что это даёт, по словам автора: данные не покидают дом, лимитов на запросы нет, доступ идёт с одного постоянного адреса, а набор моделей полностью под своим контролем. Топовые облачные модели такой сервер не заменит, но, по оценке автора, для 90% задач — код, тексты, документы, быстрые вопросы — его хватает с головой. Основа решения — Ollama, программа, которая запускает готовые нейросети на своём компьютере буквально парой команд. Автор поставил её на машину с процессором на 8 ядер и 32 ГБ памяти: модель целиком помещается в оперативной памяти. Видеокарта с 12 ГБ памяти желательна — с ней небольшие модели на 7–8 млрд параметров отвечают быстро; без неё тоже работает, просто медленнее. Наружу сервер автор вывел без проброса порта на роутере — сам он называет такой путь «болью и дырой». Вместо этого подключил сервис nozi.io: сервер сам выходит в интернет через туннель — защищённый канал — и получает постоянный адрес, одинаковый и из дома, и с телефона, даже если провайдер не даёт дому прямого адреса в интернете. Отдельное предупреждение автора: открытый без проверки вход сканеры находят за часы и начинают греть вашу видеокарту чужими запросами, поэтому минимум — проверять секретный ключ при каждом обращении. Повторить у себя можно по шагам из статьи: установка Ollama, скачивание модели (автор взял llama3.1:8b), открытие доступа и туннель последним шагом — и обязательно авторизация. Чтобы сервер переживал перезагрузки и обрывы интернета, туннель обёрнут в системную службу Linux (systemd), которая сама перезапускает его через 5 секунд после падения. Источник: https://habr.com/ru/articles/1086862/