Продолжаем подогревать ваш интерес к такой интересной железке, как Xeon Phi. Об архитек...
Продолжаем подогревать ваш интерес к такой интересной железке, как Xeon Phi. Об архитектурных тонкостях этих сопроцессоров мы уже рассказывали ранее, а в этот раз мы поговорим о том, без чего ни один Phi не работал бы в суперкомпьютере — интерконнект Intel Omni-Path. Сотни Xeon Phi в кластере бесполезны, если они не могут быстро обмениваться данными. В середине 2010-х этот рынок почти полностью принадлежал InfiniBand от Mellanox, и Intel решила создать собственную альтернативу. Для этого компания еще в 2012 году купила InfiniBand-направление QLogic (TrueScale) и интерконнект-технологии компании Cray. Из этих наработок в 2015-2016 годах и появился интерконнект Omni-Path. Основные характеристики первого поколения: 😎 Fat-tree топология для объединения большого количества нод в двух/трехуровневые кластерные сети. 😎 100 Гбит/с на порт (4 линии по 25 Гбит/с), то есть на уровне InfiniBand EDR. 😎 Коммутаторы на 48 портов вместо 36 у EDR-решений. 😎 Модульные director-коммутаторы до 768 портов в одном шасси. 😎 Сеть продолжала работать за счет повторной передачи поврежденных пакетов, хоть и на меньшей скорости, даже если отказывала одна из линий в кабеле. Omni-Path поддерживался не всеми Xeon Phi — начиная с поколения Knights Landing Intel выпустила отдельные модели с индексом F (например, Xeon Phi 7250F и 7290F), в которых контроллер Omni-Path располагался прямо на подложке процессора и был подключен к нему по внутренним линиям PCIe. Из корпуса такого процессора выступал небольшой характерный язычок с разъемом. К нему подключался специальный кабель IFP, который шел прямо к портам QSFP28 на задней панели сервера. В итоге путь данных выглядел так: Ядра → внутренний контроллер OPA на корпусе → кабель IFP → порт QSFP28 → коммутатор. Каждый процессор с индексом F получал сразу два порта по 100 Гбит/с, и ему не нужен был отдельный сетевой адаптер. Это экономило слот PCIe, снижало задержки и упрощало плотные ноды. Позже Intel повторила этот же трюк в некоторых Xeon Scalable первого поколения, например, Xeon Gold 6148F, но уже с одним портом. В обычных моделях без F таких выкрутасов не было: сеть подключалась через отдельную карту Omni-Path HFI в слот PCIe x16. Судьба Omni-Path оказалась похожа на судьбу самого Xeon Phi. Intel готовила второе поколение OPA на 200 Гбит/с, но в 2019 году отменила его. А в 2020 году все направление выделили в независимую компанию Cornelis Networks, которая продолжает развивать технологию до сих пор. 😅 Канал Serverflow в MAX: Подписаться