DGX Spark склеивают в кластер, когда одной коробке мало памяти под модели
DGX Spark склеивают в кластер, когда одной коробке мало памяти под модели Если в одном прогоне одновременно крутятся реранкер, эмбеддинги и основная модель, лимит приходит от памяти, а не от скорости железа. Одной настольной коробки NVIDIA DGX Spark под такой оркестр не всегда хватает — раньше выходили в отдельный облачный стенд. На конференции в Берлине NVIDIA показала, как связать несколько Spark в общий пул: железо остаётся на столе, сотни гигабайт под тяжёлые веса набираются количеством узлов. Параллельные модели и цепочки между ними — тот же сценарий, что в агентных пайплайнах рядом с редактором. Если при первой нехватке памяти вы обычно сразу уезжаете в дата-центр — сравните с вариантом добрать узлы на столе. Для экспериментов без недель на развёртывание второй путь теперь выглядит рабочим.