Обучение больших языковых моделей в биологии требует эффективного масштабирования. NVID...
Обучение больших языковых моделей в биологии требует эффективного масштабирования. NVIDIA Transformer Engine (TE) решает проблемы фрагментации вычислений и нехватки памяти в архитектурах Mixture-of-Experts (MoE). В рецепте BioNeMo используются GroupedLinear для групповой обработки экспертов и MXFP8 на GPU Blackwell для снижения потребления памяти. Fused GroupedMLP объединяет квантование, SwiGLU и маршрутизацию, повышая эффективность GPU. 🔹 Первый Нейронный
2 просмотров