Обработка запросов к ИИ на редких языках обходится дороже
Обработка запросов к ИИ на редких языках обходится дороже Стоимость обработки запросов к ИИ различается для распространённых и малораспространённых языков, поскольку один и тот же по смыслу текст требует разного количества токенов. Об этом сообщает 3dnews. Среди 20 наиболее распространённых в интернете языков разница в количестве токенов составляла от 1,5 до 5 раз в зависимости от модели, а при расширении выборки до 200 языков разрыв для отдельных моделей достигал 17 раз. Исследование опиралось на корпус FLORES-200 с параллельными переводами примерно на 200 языков. Помимо роста расходов, большее число токенов сокращает доступный объём контекста и может увеличивать вычислительную нагрузку и задержку ответа.
18 просмотров