RAG | Нейросети | ИИ | AI | Агенты | Mistral Large 4 | Gemini 4 Argon | GPT-6.1 Sol | Claude Sonnet 5.5 | GLM 5.3 | DeepSeek V4.1

IT и технологии · 22 сентября 2026 г.

Открыть канал в MAX

Пока GPU ждёт, CPU один молотит текст в токены. tokenizers v1 (RC) убирает затычку: enc...

Пока GPU ждёт, CPU один молотит текст в токены. tokenizers v1 (RC) убирает затычку: encode в 3–30 раз быстрее 0.23 на одном потоке, от 3,3× у t5-base до 29,8× у gpt2, замер на Apple M4 Max. Те же token ID и API, апгрейд это просто переустановка. Ускорение неравномерное — bitcannon покрывает gpt2, cl100k, tekken, deepseek, kimi-k2, прочие идут старым regex. Rust на crates.io, Python-обвязка pre-release, Apache 2.0.