Недавно писал, что все три суперкомпьютера «Яндекса» уцелели после атак на дата-центры ...
Недавно писал, что все три суперкомпьютера «Яндекса» уцелели после атак на дата-центры компании. На мой взгляд, это новость куда более значимая, чем может показаться на первый взгляд. Поэтому предлагаю подробнее разобраться, что представляют собой эти машины, как они создавались и почему их сохранение настолько важно. Для начала необходимо понимать, что суперкомпьютер — это целый вычислительный комплекс, состоящий из сотен серверов, объединённых высокоскоростной сетью. Вычислительная нагрузка распределяется между серверами, которые работают как единая система, обеспечивая высокую скорость обработки данных и выполнения сложных расчётов. История создания суперкомпьютеров «Яндекса» началась с развития технологий машинного обучения. В 2019 году компания столкнулась с необходимостью существенно увеличить вычислительные мощности для обучения больших нейросетей, основанных на архитектуре трансформеров. Сначала инженеры собрали экспериментальный кластер из серверов с графическими ускорителями NVIDIA V100. Однако результаты оказались неудовлетворительными. Выяснилось, что около половины времени ускорители простаивали, ожидая передачи данных между серверами. В результате «Яндекс» приступил к созданию специализированных вычислительных кластеров. Летом 2020 года во Владимире был построен комплекс из 62 серверов, оснащённых 496 графическими ускорителями NVIDIA V100. Уже в декабре того же года в дата-центре в Сасове Рязанской области запустили первый большой суперкомпьютер «Ляпунов», получивший название в честь советского математика Алексея Ляпунова, одного из основоположников отечественной кибернетики. В июне 2021 года были введены в эксплуатацию суперкомпьютеры «Червоненкис» и «Галушкин». Основой всех трёх суперкомпьютеров стали американские процессоры AMD EPYC и графические ускорители NVIDIA A100. Тем не менее значительная часть инженерной работы по созданию этих комплексов была выполнена отечественными специалистами. Результат проделанной работы оказался весьма впечатляющим. В ноябре 2021 года все три суперкомпьютера «Яндекса» вошли в мировой рейтинг TOP500. «Червоненкис» занял 19-е место в мире, «Галушкин» — 36-е, а «Ляпунов» — 40-е. Далее подробнее разберём, как устроены суперкомпьютеры «Яндекса», какие возможности они открывают и почему имеют стратегическое значение для России.