Dynamo в Kubernetes — только первый шаг до рабочего endpoint
Dynamo в Kubernetes — только первый шаг до рабочего endpoint Поды зелёные, а нагрузочный тест всё равно отваливается между воркерами на видеокартах. Если выкатывали Dynamo в кластер и думали, что одного деплоя хватит — типичная ловушка. Дело не в манифестах: драйверы, ресурсы, планировщик, сеть и мониторинг должны сойтись в одну цепочку. Иначе клиент ловит нестабильный ответ, хотя координация воркеров уже настроена. NVIDIA описала validated runtime под Dynamo — контур от конфигурации модели до точки выдачи под нагрузкой, который можно проверить и воспроизвести, а не пересобирать после каждого сбоя. Сверьте свой стек с этим контуром, если собираете приложение с моделью в кластере: зазор между «задеплоили» и «точка выдачи держит прод» часто здесь.