NVIDIA Recovery: кластер сам поднимает упавший distributed training
NVIDIA Recovery: кластер сам поднимает упавший distributed training Зависший ранг в распределённом обучении не всегда обрывает задание — иногда оно просто висит, GPU простаивают, а вы снова копаете логи и перезапуск с checkpoint. На Slurm таких сбоев быстрее, чем рук на дежурстве. NVIDIA выложила Recovery в open source: цикл без правок кода приложения — детект, изоляция узла, рестарт с последнего сохранения или стоп бесполезных повторов. По умолчанию режим наблюдения: советы в консоли и журнал аудита, планировщик не трогают, пока не включите режим действий. Одна директива в sbatch — сначала только смотреть, потом решать, доверять ли автоматике. Quickstart поднимает стек локально без физической GPU; в прод — Helm chart Advisor Controller.