Пока Nvidia молчит о характеристиках Rubin PCIe, мы решили провести аналитику, чтобы вы...
Пока Nvidia молчит о характеристиках Rubin PCIe, мы решили провести аналитику, чтобы выяснить, каким будет долгожданный ИИ-ускоритель Хуанга. Полноценный Rubin в формате SXM, который стоит в системах HGX Rubin NVL8, — настоящий монстр. Он состоит из двух вычислительных кристаллов, объединенных интерфейсом NV-HBI, и выпускается по 3-нм техпроцессу TSMC N3P. Внутри 336 млрд транзисторов, 224 SM и 896 тензорных ядер. Памяти 288 ГБ HBM4 с пропускной способностью 22 ТБ/с, а производительность достигает 35 PFLOPS в плотном NVFP4 и 17,5 PFLOPS в FP8. Официальный TDP NVIDIA не публикует, но по данным SemiAnalysis у Rubin есть два профиля мощности: 1800 Вт и 2300 Вт. А стандартная двухслотовая PCIe-карта для серверов обычно ограничена 600 Вт. То есть энергопотребление нужно сократить в три-четыре раза У AMD уже есть готовый рецепт, как превратить огромный многокристальный ускоритель в PCIe-карту. Флагманский Instinct MI355X состоит из 8 вычислительных кристаллов XCD и 2 кристаллов ввода-вывода, у него 256 вычислительных блоков, 8 стеков HBM на 288 ГБ с пропускной способностью 8 ТБ/с и энергопотребление 1400 Вт. А в PCIe-версии MI350P AMD просто взяла ровно половину: 4 XCD, 1 кристалл ввода-вывода, 128 вычислительных блоков и 4 стека HBM на 144 ГБ с пропускной способностью 4 ТБ/с. Но вот энергопотребление сократилось не вдвое, а до 600 Вт, то есть до 43% от старшей модели. Значит, помимо урезания чипа AMD дополнительно снизила частоты и оптимизировала питание. Если NVIDIA пойдет тем же путем, логичнее всего оставить 1 вычислительный кристалл из 2. Тогда получится 112 SM и 448 тензорных ядер. Вместе с кристаллом уйдет и половина стеков памяти, останется 4 микросхемы HBM4. Если стеки останутся прежними, по 36 ГБ, получим 144 ГБ HBM4 и теоретически до 11 ТБ/с пропускной способности. Есть и более бюджетный вариант: 4 стека попроще, по 24 ГБ. Тогда памяти будет всего 96 ГБ, но для больших языковых моделей 144 ГБ, конечно, гораздо интереснее. Вот здесь начинается самое сложное. Половина Rubin даже в режиме 1800 Вт будет потреблять около 900 Вт, а при 2300 Вт половина составит 1150 Вт. Чтобы уложиться в 600 Вт, нужно дополнительно срезать еще 33-48% энергопотребления. Сделать это можно с помощью одновременного снижения напряжения и частоты. Мощность вычислительной логики зависит от квадрата напряжения, поэтому даже небольшое снижение напряжения дает серьезную экономию. Например, если снизить напряжение на 15%, а частоту на 25%, то динамическая мощность упадет примерно до 54% от исходной. Но память HBM4, контроллеры и цепи питания продолжат потреблять свое, так что 600 Вт с четырьмя стеками HBM4 — задача амбициозная, хоть и вполне выполнимая. По нашей оценке, после такого урезания половина Rubin сохранит примерно 55-80% своей вычислительной производительности. 📊 Что может получиться С учетом всех допущений гипотетический Rubin PCIe на 600 Вт может выглядеть так: 🔹 Память: 144 ГБ HBM4 с пропускной способностью 8–11 ТБ/с против 288 ГБ и 22 ТБ/с у полноценного Rubin. Нижняя граница на случай, если NVIDIA снизит ради экономии энергии еще и частоту памяти. 🔹 NVFP4: 9,6-14 PFLOPS против 35 PFLOPS у SXM-версии. 🔹 FP8: 4,8-7 PFLOPS против 17,5 PFLOPS. 🔹 FP16/BF16: 1,1-1,6 PFLOPS против 4 PFLOPS. 🔹 FP32 и FP64: 36-52 и 9-13 TFLOPS против 130 и 33 TFLOPS. 🔹 Интерфейс: скорее всего, PCIe 6.0 x16. ⚔️ А теперь сравним с соседями И вот здесь становится по-настоящему интересно. Среди 600-ваттных PCIe-ускорителей у H200 NVL 141 ГБ HBM3e с пропускной способностью 4,8 ТБ/с, у AMD MI350P 144 ГБ HBM3e и 4 ТБ/с, а у RTX PRO 6000 Blackwell Server Edition 96 ГБ GDDR7 и всего 1,6 ТБ/с. Наш гипотетический Rubin PCIe с 8-11 ТБ/с обгонял бы их всех в 2-7 раз 🚀 Более того, при 600 Вт он мог бы получить даже более быструю память, чем полноценный B300 SXM с его 8 ТБ/с. Для инференса языковых моделей это было бы огромным шагом вперед. А вот в обучении и обработке больших пакетов запросов урезанные тензорные ядра уже дадут о себе знать.