Продолжаем разговор о суперкомпьютерах «Яндекса». В предыдущем материале рассказал, как...
Продолжаем разговор о суперкомпьютерах «Яндекса». В предыдущем материале рассказал, как компания пришла к созданию трёх мощнейших вычислительных комплексов, которые в 2021 году вошли в число лучших в мире. Теперь подробнее разберёмся, как они устроены и за счёт чего достигается такая производительность. Представьте сложнейшую математическую задачу, на решение которой у одного специалиста ушли бы годы. Если распределить вычисления между тысячами специалистов, время можно значительно сократить. Однако им придётся постоянно обмениваться промежуточными результатами, поскольку дальнейшие расчёты зависят от уже полученных данных. По такому принципу работает суперкомпьютер. Тысячи графических ускорителей параллельно выполняют части одной большой задачи. При этом скорость передачи данных между ними имеет решающее значение. Именно поэтому мощность суперкомпьютера определяется эффективностью взаимодействия. Согласно опубликованным в 2021 году характеристикам, все три суперкомпьютера объединяют 472 вычислительных узла, в которых установлены 3776 графических ускорителей NVIDIA A100. Каждый узел оснащён восемью такими ускорителями и двумя процессорами AMD EPYC. Именно графические ускорители выполняют основную часть вычислений при обучении нейросетей. Они способны одновременно обрабатывать огромные массивы данных, обеспечивая производительность, необходимую для работы с современными моделями искусственного интеллекта. Для быстрого обмена данными между вычислительными узлами в суперкомпьютерах «Яндекса» используется высокоскоростная сеть InfiniBand HDR. Причём отечественные инженеры проделали большую работу по оптимизации её функционирования. Показателен пример суперкомпьютера «Ляпунов». В 2021 году специалисты обнаружили ошибки в работе сетевой инфраструктуры, которые существенно ограничивали производительность. После их устранения результат комплекса в тесте Linpack вырос с 9,46 до 12,81 петафлопса. Прирост составил более 35%, причём исключительно за счёт программно-технической оптимизации уже имевшегося оборудования. Ещё более интересные решения были реализованы при создании «Червоненкиса» и «Галушкина». Для этих суперкомпьютеров «Яндекс» разработал собственную архитектуру вычислительных узлов, оптимизированную под задачи машинного обучения. Особое внимание уделили энергопотреблению и охлаждению. Дело в том, что одна серверная стойка такого комплекса может потреблять до 20 кВт электроэнергии. При подобных масштабах даже небольшое повышение эффективности охлаждения позволяет существенно сократить эксплуатационные расходы. Инженеры «Яндекса» разработали специальную компоновку оборудования, обеспечивающую более эффективный отвод тепла. Одновременно удалось оптимизировать схему подключения ускорителей к высокоскоростной сети. В результате компания получила вычислительные комплексы, адаптированные под собственные задачи и позволяющие эффективно использовать дорогостоящие графические ускорители. Здесь мы подходим к важному моменту. Несмотря на использование иностранных процессоров и ускорителей, значительная часть инженерных решений была разработана отечественными специалистами. И накопленные компетенции имеют самостоятельную ценность, поскольку создание подобных систем требует глубокого понимания принципов организации высокопроизводительных вычислений. Сейчас, когда суперкомпьютеры сохранились после атак и разворачиваются на новых площадках, значение этой работы становится особенно очевидным.