Три конфигурации torchtitan для Qwen3 на одном trn2.48xlarge
Три конфигурации torchtitan для Qwen3 на одном trn2.48xlarge Дообучение Qwen3 на Trainium через torchtitan , не параллельная вселенная к вашим скриптам на картах. На одном trn2.48xlarge в гайде Amazon разложили три конфига при одном и том же torchrun на 64 логических ядрах: веса с Hugging Face через Transformers, нативная сборка внутри torchtitan и урезанная модель со смесью экспертов с кастомными ядрами под Neuron. Там же показан круглый путь , скачали safetensors, дообучили, снова выгрузили в тот же формат , и флаги чекпоинта с быстрой проверкой на первом шаге. Если вы как раз стыкуете Trainium с уже знакомым torchtitan, а не разовый бенч, имеет смысл пройти пошагово.
3 просмотров