NCCL на «чужом» rank: NVIDIA Attribution ищет первопричину
NCCL на «чужом» rank: NVIDIA Attribution ищет первопричину Чем длиннее хвост лога после падения обучения, тем меньше он подсказывает первопричину: на экране — последний упавший процесс, а цепочка могла начаться с обрыва между узлами задолго до финального таймаута. Так бывает, когда один сбой на соседнем узле раздувает отчёт до сотен производных строк. NVIDIA в материале про диагностику распределённых нагрузок показывает Attribution: на образце данных с упавшего прогона инструмент связывает симптомы с первичным событием, а не с тем worker, который упал последним. Если у вас многотузловый кластер, прогоните их пример Attribution на своём дампе — до того как снова менять конфиг по последней ошибке в хвосте.
2 просмотров