💻 125 токенов в секунду на RTX 4070 Ti SUPER — как заставить локальную нейросеть работ...
💻 125 токенов в секунду на RTX 4070 Ti SUPER — как заставить локальную нейросеть работать кодинг-агентом 💻 Среди разработчиков давно есть мечта — запускать полноценного ИИ-кодинг-агента прямо на своём компьютере, не платя за API и не отправляя код в облако. Но реальность была приземлённой: умные модели вроде Qwen 3.8 27B на потребительской видеокарте выдают лишь 10–20 токенов в секунду, а для комфортной «агентской» работы нужно не менее 100–150 токенов в секунду. Ситуацию решил энтузиаст с видеокартой RTX 4070 Ti SUPER — и он добился впечатляющего результата. 🖥️ Для понимания масштаба: по опросам GaugeDB самая распространённая видеокарта среди обычных пользователей настольных ПК имеет ровно 16 ГБ видеопамяти, а такие модели занимают около 27% рынка. У автора как раз такая карта — RTX 4070 Ti SUPER с 16 ГБ памяти GDDR6X, которая сейчас стоит примерно $900. Долгое время на «железе» такого класса казалось невозможным получить и достаточно умную, и достаточно быструю локальную модель. ⚡ Итог эксперимента — стабильные 125 токенов в секунду, что почти доводит локалку до уровня облачных сервисов вроде Claude API. На такой скорости генерация типичного класса кода из 200 строк занимает всего несколько секунд, а сам агент способен планировать задачи, вызывать инструменты и проверять себя — то есть вести себя как настоящий разработчик-помощник. При этом всё работает локально: код и контекст не покидают ваш компьютер, что особенно ценно для тех, кто не доверяет отправлять источники в чужие сервисы. 🛠️ Этот кейс показывает, что порог «умный плюс быстрый» для локальных нейросетей постепенно стирается — и он зависит в первую очередь от объёма видеопамяти и правильной настройки. Для многих разработчиков RTX-класса с 16 ГБ VRAM локальный агент уже перестаёт быть роскошью: его можно использовать для быстрой генерации прототипов, рефакторинга и автоматизации рутины прямо в своём рабочем процессе. Остается понимать, что локалка — это мощный ускоритель, но не полная замена опытному разработчику, поэтому сгенерированный код по-прежнему стоит проверять и тестировать вручную.