⚙️ Сколько инцидентов сможет обработать одна GPU в реальном SOC? — 27 июля 2026 г. в 12:46:08.591
⚙️ Сколько инцидентов сможет обработать одна GPU в реальном SOC? В первой части эксперимента «SOC на одной GPU» мы проверили пределы локальной модели: сколько параллельных запросов она выдерживает, как на скорость влияют длина контекста и объём ответа. Но результаты стресс‑тестов ещё не показывают, как конфигурация поведёт себя в реальном SOC. Здесь нагрузка распределяется неравномерно: одновременно обогащаются карточки инцидентов, выполняются шаги ИИ‑оркестратора и поступают запросы аналитиков. Поэтому во второй части мы приблизили эксперимент к промышленному сценарию и выяснили: 🔹 как меняется нагрузка при спокойной смене и во время массового поступления инцидентов; 🔹 сколько запросов может одновременно обслуживать одна GPU; 🔹 как разделить ресурсы между фоновыми задачами SOAR и интерактивной работой аналитиков; 🔹 зачем нужен AI Gateway и почему важно учитывать не только число запросов, но и длину контекста. Отдельно проверили, насколько полезен thinking mode в прикладных задачах SOC. Спойлер: эксперимент показал, что более длинная цепочка рассуждений далеко не всегда компенсирует увеличение времени инференса при суммаризации инцидентов, поиске похожих случаев и формировании предварительного вердикта. 🔗 Как всё это работает на практике — рассказываем во второй части статьи.