Китайские ИИ-ускорители уже не экзотика, но пока не замена Nvidia
Китайские ИИ-ускорители уже не экзотика, но пока не замена Nvidia ▫️ Российская Yadro тестирует китайские ускорители для работы с большими языковыми моделями, но пока они не способны заменить Nvidia. Как сообщил глава направления ИИ компании Глеб Маркевич, Yadro работает с восемью китайскими производителями, решения четырёх из них уже прошли испытания. В ходе тестов специалисты запускали большие языковые модели, включая Qwen и DeepSeek, и измеряли скорость генерации текста в токенах в секунду. Испытания включали несколько сценариев с разной длиной запросов и ответов, а на сравниваемых системах использовали одинаковые профили нагрузки, отдельно проверяя качество ответов моделей. Результаты: 50% от H100 в отдельных сценариях ▫️ Две платформы показали удовлетворительные результаты при запуске языковых моделей. В отдельных сценариях производительность двух китайских платформ, измеренная по скорости генерации текста в токенах в секунду, достигала 50% от показателей системы на базе Nvidia H100 NVL. Для прямой замены Nvidia по производительности этого пока недостаточно, но испытания подтвердили, что альтернативные ускорители уже способны работать с современными большими языковыми моделями. Кроме того, доступный объём памяти китайских платформ может быть сопоставим с Nvidia HGX H200. А кто еще? ▫️ Как рассказал «Ъ» ведущий разработчик департамента фундаментальных исследований MWS AI Денис Махов, одной из наиболее перспективных китайских платформ можно назвать Huawei Ascend. По его словам, оборудование уже используется для запуска DeepSeek и Qwen, а также позволяет обучать модели с сотнями миллиардов параметров. В MWS AI также протестировали собственные языковые модели Cotype на китайских ускорителях совместно с Rubytech и намерены продолжить испытания. Хотя на доступность оборудования влияют экспортный контроль Китая и ограниченные производственные мощности. Подписывайтесь на AI для бизнеса