Сравнение BitNet, Bonsai и ik_llama.cpp на CPU: результаты тестов
Сравнение BitNet, Bonsai и ik_llama.cpp на CPU: результаты тестов Энтузиасты продолжают искать оптимальные способы запуска больших языковых моделей на обычных процессорах. Недавнее независимое тестирование трех open-source проектов показало неоднозначные результаты. В центре внимания оказались BitNet (бинарная модель, снижающая требования к памяти), Bonsai 1.7B и форк llama.cpp с поддержкой рекурсивного трейлинг-рендеринга (RTR). Проверка показала, что основная ветка bitnet.cpp по-прежнему выдает некорректные выходные данные при работе на CPU. Это означает, что проект, несмотря на свою перспективность, пока не готов к практическому использованию в текущем виде. В то же время Bonsai 1.7B продемонстрировал корректную работу везде, где удалось его загрузить, что делает его надежным вариантом для локального запуска. Что касается производительности, то ik_llama.cpp с флагом -rtr в большинстве случаев оказался самым быстрым. Это особенно важно для пользователей, которым критична скорость генерации текста. Однако стоит учитывать, что тесты проводились на конкретном наборе моделей и сценариев, поэтому результаты могут варьироваться в зависимости от конфигурации системы. Для тех, кто хочет самостоятельно воспроизвести эксперименты, все три проекта доступны в открытом виде. Рекомендуется обратить внимание на статус разработки и актуальные версии, так как ситуация может быстро меняться. Репозиторий: https://github.com/microsoft/BitNet Главное: • bitnet.cpp main выдает неверные результаты на CPU • Bonsai 1.7B работает корректно при успешной загрузке • ik_llama.cpp с -rtr обычно быстрее конкурентов • Результаты зависят от конфигурации и версий проектов #ИИ #LLM #OpenSource #Производительность #CPU