ttok 1.0: дефолтный токенизатор переключили с GPT-4 на GPT-5
ttok 1.0: дефолтный токенизатор переключили с GPT-4 на GPT-5 Обновил ttok через uv, прогнал файл в пайп — лимит выглядит не так, как для модели, на которую реально шлёшь. Виноват дефолт: счётчик цеплялся к токенизатору GPT-4, а не к семейству GPT-5 и GPT-6. Simon Willison смену назвал поводом наконец выпустить 1.0. У OpenAI нет официального «да, у GPT-6 тот же токенизатор» — на GitHub открытый спор. Willison ссылается на проверку William Liu: на его фикстурах актуальные модели пятёрки и шестёрки дают одинаковый входной счёт. Перед отправкой в API режете промпт по токенам — обновите ttok и сверьте дефолт. Иначе обрезка может не совпасть с тем, что съест живая модель.
6 просмотров