Локальный ИИ-агент за час снял ограничение видеокарты, на которое у автора ушли бы сутки
Локальный ИИ-агент за час снял ограничение видеокарты, на которое у автора ушли бы сутки Автор серии статей на Хабре собрал домашний сервер для запуска больших локальных языковых моделей из пяти бывших майнинговых видеокарт NVIDIA CMP 90HX — дешёвых карт с большим объёмом видеопамяти, но с искусственно урезанными возможностями. В третьей части он добрался до последнего ограничения: шины PCIe, через которую карты обмениваются данными. Сначала он припаял на платы недостающие конденсаторы и получил полный разъём PCIe x16 вместо урезанного. Это заметно ускорило режим tensor split, когда одна большая операция модели делится между всеми картами сразу: скорость чтения входного запроса выросла примерно на 82% (с 268 до 489 токенов в секунду — токен здесь кусочек текста, которым модель измеряет объём), генерация ответа — на 17% (с 31,9 до 37,3 токена в секунду). Автор оговаривает: тесты шли в разное время с немного разными моделями, поэтому это оценка масштаба эффекта, а не лабораторный замер. Следующий шаг — удвоение скорости самой шины с Gen1 до Gen2 — готовыми методами из интернета не получился: автор честно просидел двое суток, и ничего не сработало. Тогда он поручил задачу локальному ИИ-агенту: четыре карты сервера запускали модель, которая через SSH исследовала пятую карту на отдельном стенде. Автор ожидал несколько суток работы — агент нашёл рабочий путь примерно за час. Как это работает, без деталей не понять: агент собрал последовательность из штатной инициализации драйвера, открытия служебных масок защиты через уже известный автору механизм V67, локальной перезагрузки PCIe-устройства и повторного обучения линии. Результат подтверждён не только показаниями регистров, но и реальным тестом передачи данных: 6,3–6,4 ГБ/с, что физически невозможно на старой скорости (там потолок около 4 ГБ/с). По словам автора, это первый публично подтверждённый PCIe Gen2 x16 на CMP 90HX; похожие работы других исследователей касались только x4. Что это меняет практически: узкое место между картами почти убрано, температура в простое упала до 9 °C после подключения кондиционера, лимит мощности ещё не достигнут (около 200 Вт из 250 доступных) — автор планирует дальше разгон ядра. Чужие методы не сработали, и это главная грабля для повторяющих: порядок инициализации важнее самой записи в регистры. Чтобы никому не повторять этот путь, автор собрал утилиту CMP90HX PWNER с автоматической установкой всех модификаций и выложил её с исходниками на GitHub, указав авторов использованных наработок. Точные замеры, где прирост максимальный, обещаны в отдельном дополнении к статье. Источник: https://habr.com/ru/articles/1082724/