VocabX: узкий словарь Qwen3-4B дал −77% стоимости inference без смены весов
VocabX: узкий словарь Qwen3-4B дал −77% стоимости inference без смены весов Задачу модели вы уже сузили до одного JSON, а токенизатор всё ещё общий от Qwen: одна и та же обёртка на каждый ответ режется на кучу кусков, и на каждом шаге генерации выходной слой тянет сотни тысяч строк словаря. Команда Dharma-AI разобрала продовый грейдер сочинений на Qwen3-4B — те же веса и рецепт обучения, поменяли только словарь VocabX: кандидаты отбирали по стоимости поля, а не по частоте в корпусе. По замерам стоимость прогона упала на 77%. Если гоняете узкую модель с шаблонным выходом, логичнее сначала посмотреть на токенизатор, чем снова крутить веса — его наследуют от базы и после дообучения часто не трогают.
6 просмотров