Нейронки берут налог за русский язык — в отдельных тестах он требует на 40% больше токе...
Нейронки берут налог за русский язык — в отдельных тестах он требует на 40% больше токенов, чем английский. Это называют 'налогом токенизатора': среди 200 языков разница достигает 17 раз — особенно не повезло бирманскому, тибетскому и кхмерскому.
1 007 просмотров