Три приёма ускорить MoE-инференс на DGX Spark без потери GSM8K
Три приёма ускорить MoE-инференс на DGX Spark без потери GSM8K Локальная модель со смесью экспертов часто тормозит не на ядрах, а на повторном чтении весов на каждый токен. В разборе NVIDIA для DGX Spark и Ling-3.0-flash — три шага подряд: ускорить экспертов, урезать чтение на выходе, черновик с проверкой. На бенчмарке с математикой все три дают около +42,5% к скорости при той же точности — честнее, чем синтетика. Ловушка: черновик и целевая модель должны делить выходной модуль целиком, иначе сборка может стать медленнее базы. Перед сменой чекпоинта снимите профиль декодинга и сравните, не упираетесь ли в память — от этого зависит, стоит ли тянуть эти три приёма на своём железе.
8 просмотров