Paritok: сжимаем токены по-новому
Paritok: сжимаем токены по-новому Запросы к языковым моделям можно сделать заметно дешевле. Для этого придумали Paritok. Инструмент поднимает gateway, через который проходят все запросы. Дальше небольшая 4b-модель сжимает их перед отправкой к API. Авторы говорят, что все работает без потерь. По принципу это напоминает VACUUM: только вместо мертвых кортежей ужимаются пустые пространства в инструментах и истории при отправке запроса. Экономия — примерно 25% от стандартного чека.
33 просмотров