SonicBoom
SonicBoom Движок инференса на C++ и CUDA, которому Python не нужен ни в работе, ни в сборке. Локальный запуск моделей на потребительских картах Скорость дают слои над ядрами: планировщик переписывает граф модели и укладывает шаг генерации в один CUDA Graph, компилятор на MLIR делает часть ядер и подбирает их под карту • Загрузка GGUF, генерация на процессоре или на карте, локальный сервер с API OpenAI • Повторное использование префикса: считается только новая часть, результат совпадает с полным пересчетом до токена • Без pip, колес и подгрузок в рантайме • На RTX 3050 Gemma 4 E4B выдала 53,6 токена в секунду против 44,8 у llama.cpp • Qwen2.5-0.5B: 345,9 против 306,9 • На глубине 512 токенов преимущество почти исчезает • Сторонний замер на RTX 4060 Ti дал 73,6 против 78, сборка была не под эту карту #inference