Как V67 повлиял на скорость LLM на сервере с CMP 90HX
Как V67 повлиял на скорость LLM на сервере с CMP 90HX Автор собрал сервер на нескольких NVIDIA CMP 90HX и сравнил скорость LLM-вычислений до и после временной разблокировки V67. В исходной конфигурации MoE-модель шла примерно на 42 токена в секунду, а dense-модель — примерно на 23 токена в секунду. После применения V67 результаты выросли: MoE ускорилась примерно до 72 токенов в секунду, dense — до 36 токенов в секунду. Автор затем закрепил эффект постоянным патчем, и после перезагрузки показатель сохранился примерно на уровне 71 токена в секунду для MoE и 36 токенов в секунду для dense. Эксперимент проводился на конкретной связке: CMP 90HX, драйвер NVIDIA 610.43.03 и модифицированный модуль под ядро Ubuntu 5.15.0-187-generic. Это делает результат полезным прежде всего для тех, кто изучает поведение LLM на локальных NVIDIA-ускорителях и сравнивает влияние драйвера и модуля ядра на производительность. Для других систем переносить эти цифры без повторения условий нельзя: процедура требует нестандартной настройки и модифицированного модуля. Источник: Habr Computer Hardware RU — https://habr.com/ru/articles/1076224/