R
RAG | Нейросети | ИИ | AI | Агенты | GPT-6 Luna | Gemini 4 Argon | Claude Haiku 5.5 | Mistral Large 4 | Muse Wonder | Claude Fable 5.5
IT и технологии · 16 октября 2026 г.
BERT вышел в 2018-м, а его токенизатор ускорили в 50 раз лишь сейчас.
BERT вышел в 2018-м, а его токенизатор ускорили в 50 раз лишь сейчас. Бутылочное горлышко — нормализация Unicode: на неё уходило 88% времени. В PR tokenizers v1 её переписали на SIMD и кэш, доля упала до 13%, и BERT ускорился ещё в 5,7 раза. Итого ~50×: английский теперь гонится на 151 МБ/с вместо 23. Экономия прямая: на этом нормализаторе работают эмбеддинги, поиск и RAG. Изменения пока в PR, в основную ветку не влиты. Замеры и приёмы — в разборе в блоге Hugging Face. https://huggingface.co/blog/huggingface/tokenmaxxing-bert
1 просмотров