Нейронки берут (https://restofworld.org/2026/ai-tokenizer-tax-non-english-languages-cos...
Нейронки берут (https://restofworld.org/2026/ai-tokenizer-tax-non-english-languages-cost-inequity/) налог за русский язык — в отдельных тестах он требует на 40% больше токенов, чем английский. Это называют 'налогом токенизатора': среди 200 языков разница достигает 17 раз — особенно не повезло бирманскому, тибетскому и кхмерскому.
3 просмотров