GPU купили — не значит, что всё, слил: как собрать ИИ-инфраструктуру и не перепиливать ...
GPU купили — не значит, что всё, слил: как собрать ИИ-инфраструктуру и не перепиливать её после пилота ИТ-команда уже выбирает GPU-серверы, бизнес прикидывает облачные модели, разработчики собирают первый прототип. А через полгода выясняется: модель не влезает в доступную видеопамять, облако вылезает за бюджет, а купленные ускорители под реальной нагрузкой не дают нужной производительности. Дело не всегда в железе или самой модели. Чаще косяк в порядке решений: инфраструктуру начинают проектировать раньше, чем стало ясно, что вообще нужно от будущего ИИ-сервиса. За последний год в Orion soft насмотрелись на разные сценарии внедрения ИИ в российских компаниях: от первых экспериментов до проектов, которые готовят к промышленной эксплуатации у крупнейших заказчиков. Как разработчик инфраструктурного ПО, там часто подключаются позже: бизнес-задача сформулирована, модель выбрана, железо закуплено. И вот тогда вылезают архитектурные ограничения, которые заложили ещё на старте. Читать далее 👉 Telegram | Max | 🌥 Claude и другие ИИ
Канал в каталоге Максиметера
57 подписчиков · IT и технологии