131 тысяч за GPU — и это не история про «всё стало дешевле».
131 тысяч за GPU — и это не история про «всё стало дешевле». Российская команда подняла свой инференс для 25 разработчиков: Qwen, vLLM и закрытый контур. В работе 16 человек, аренда RTX PRO 6000 на 96 ГБ — 131 тыс. ₽ в месяц. Самая показательная цифра тут вообще не про модель. После нормальной настройки prefix cache попадания выросли с 0 до 96,9%, а повторный запрос с тем же контекстом упал с 31,9 секунды до 0,24. Вот где у агентных систем обычно лежит и скорость, и счёт: не в красивом tok/s на выходе, а в том, сколько раз они таскают за собой один и тот же вагон контекста. И вывод у ребят честный: свой контур не обязательно дешевле облака. Его берут, когда код заказчиков нельзя выпускать наружу, когда нужны контроль доступа и предсказуемая нагрузка, а не надежда, что чужой тариф завтра не перекроят. Это один рабочий стенд и авторские цифры, не универсальный бенчмарк. Но мысль очень здравая: прежде чем покупать железо или спорить про модель, посмотрите в кэш. Там часто лежит половина вашей проблемы.