Major release от нашей небольшой лабы. Поддержка спекулятивного декодинга в нашем инфер...
Major release от нашей небольшой лабы. Поддержка спекулятивного декодинга в нашем инференс движке. Для начала Qwen3.6 27B, поддержка Qwen3.8 27B и Muse Glimmer в пути. Мы сильно превосходим все возможные стеки для Apple Silicon по производительности. Потому что взяли и все сделали как ко-дизайн: кернелы, квантизация и спекуляция. Все с нуля, все свое. Попробовать можно уже сегодня M checkpoint - поменьше L checkpoint (lossless) Все модели которые мы поддерживаем лежат тут, будем рады если попробуете что-то еще. Бенчи тут. Можно изучить как и что измерено и насколько лучше. Подробнее про релиз блог пост
12 просмотров