✨ Meta раскрыла детали суперкластера Prometheus на 1 млн GPU
✨ Meta раскрыла детали суперкластера Prometheus на 1 млн GPU Первая очередь Prometheus — гигаваттного суперкластера Meta в Нью-Олбани, Огайо — завершена, и на ней обучали линейку моделей Muse, включая Muse Wonder. Сейчас кластер объединяет сотни тысяч GPU; на полной мощности будет около 1 млн, работающих синхронно — это позволяет брать более крупные модели и длинный контекст. 📊 Сбой одного хоста тормозит всё задание, поэтому Meta довела goodput выше 85% для претрейна и выше 90% для RL, а MTBI — до ~54 тыс. GPU-часов после правок прошивок. По железу: Catalina на GB200 NVL72, Clemente на GB300 NVL72 с 288 ГБ HBM3e на GPU (на 50% больше) и Vera Rubin NVL72 — скоро. 🔹 Первый Нейронный
1 просмотров