d-Matrix представила Squadron — масштабируемую платформу для ИИ-инференса, объединяющую...
d-Matrix представила Squadron — масштабируемую платформу для ИИ-инференса, объединяющую до 1024 собственных ускорителей Corsair Raptor XPU в кластере из 16 стоек. Система рассчитана на ЦОД, которым нужна высокая скорость генерации токенов при низких задержках Squadron объединяет серверы Corsair, стойки SquadRack, сетевые адаптеры JetStream и программное обеспечение Aviator. В максимальной конфигурации кластер включает 16 стоек по восемь серверов, то есть до 128 серверов и 1024 XPU. Для установки Squadron не требуется переходить на жидкостное охлаждение или строить отдельный специализированный ЦОД. Система уже развернута в дата-центре d-Matrix в Аризоне, а первые поставки приоритетным клиентам идут для размещения в их собственных инфраструктурах. Squadron поддерживает два сценария работы. В первом модели полностью выполняются на Corsair XPU. Во втором ускорители d-Matrix работают совместно с GPU, распределяя между собой разные этапы вычислений. Такой подход называется дезагрегацией Attention-FFN (AFD): обработка механизма внимания и вычисления в блоках Feed-Forward Network (FFN) разделяются между разными типами ускорителей. По данным d-Matrix, в демонстрации AFD перенос вычислений FFN на стойки Corsair позволил гибридной системе генерировать 845 токенов/с на одного пользователя. При 64 одновременных пользователях суммарная пропускная способность достигла 20 415 токенов/с. 😅 Канал Serverflow в MAX: Подписаться