✋ Microsoft Maia 300 — характеристики и архитектура нового XPU-ускорителя
✋ Microsoft Maia 300 — характеристики и архитектура нового XPU-ускорителя Microsoft анонсировала следующее поколение специализированных ускорителей для машинного обучения — Azure® Maia 300. В отличие от универсальных графических процессоров, проект Maia позиционируется как XPU, сфокусированный на ускорении инференса LLM и генеративных сервисов. Инференс все больше смещается в сторону агентских сценариев, требующих многоступенчатого выполнения задач, длинноконтекстного декодирования и постоянного обращения к «внешним» инструментам. Чтобы эффективно обрабатывать такие алгоритмы, был сделан упор на устранение узкого места — пропускной способности памяти и задержек при передаче данных. 👀 Источник ✋ Secure Books
32 просмотров