TorchNeuron: PyTorch на Trainium в AWS в одну строку
TorchNeuron: PyTorch на Trainium в AWS в одну строку Amazon выпустил TorchNeuron, открытый бэкенд PyTorch для своих ИИ-чипов Trainium. Код, написанный под NVIDIA, теперь запускается на Trainium после замены одной строки: вместо cuda указывается neuron. Раньше для этого требовались собственные интерфейсы Amazon, теперь Trainium подключается к PyTorch через штатный механизм для стороннего железа. Параллельно Amazon отправляет в сам PyTorch пул реквесты, убирающие жесткую привязку к CUDA. Расчет понятный: преимущество NVIDIA годами держится не столько на железе, сколько на CUDA, под которую написана большая часть ИИ-софта. Google делает такой же TorchTPU, Microsoft переводит свои сервисы на собственные Maia, и TorchNeuron встает в тот же ряд. Только одна строка гарантирует запуск, а не скорость. В eager-режиме каждая операция компилируется отдельно и гоняет данные через HBM, так что для продакшна нужен torch.compile. Собственные CUDA-ядра на Trainium не переедут: их переписывают на NKI, язык низкоуровневых кернелов Amazon. Deepgram заявляет, что Trainium обрабатывает на 60% больше аудио в пересчете на доллар, чем прежние GPU, но перенос занял несколько месяцев и шел вместе со специалистами AWS. В первой версии нет поддержки тензоров с меняющимися размерностями, а около 22 тысяч тестов PyTorch пропускаются из-за операторов, которых на Trainium пока нет. Главное ограничение в том, что Trainium нельзя купить, только арендовать в AWS, и сам Amazon продает TorchNeuron стартапам как повод разрабатывать у него, а не у неооблаков на NVIDIA. Крупнейшие пользователи AWS связаны с Amazon деньгами: Anthropic получила от компании миллиарды, OpenAI законтрактовала 2 ГВт мощностей Trainium в рамках сделки, по которой Amazon вкладывает в нее $50 миллиардов. Лок-ин не исчезает, а переезжает из CUDA в NKI и в облако одного провайдера. При этом сам Amazon только за один месяц купил стоек NVIDIA GB300 на $5 миллиардов, и часть из них стоит на складах в ожидании подключения. @anti_agi