Ну что ж, вот и наш первый релиз на архив. — 9 июля 2026 г. в 09:25:44.640
Ну что ж, вот и наш первый релиз на архив. we achieve a 4.37-fold speedup over autoregressive decoding, and outperform a highly optimized DFlash baseline by 24.7% Это спекулятивный декодинг. SOTA(ну на qwen3.6 точно). Бьем все, что есть известного в паблике (ну dflash). Супер важная тема для быстрого инференса на устройстве, особенно когда понимаешь задачу. GitHub HF Поддержка в нашем инференс движке скоро доедет
4 просмотров