Открытые модели съели 71,5% токенов в Gateway — а 23% счёта
Открытые модели съели 71,5% токенов в Gateway — а 23% счёта Вы когда последний раз смотрели не на объём запросов в шлюзе, а на то, куда ушли доллары? В октябрьском Production Index Vercel по анонимному трафику AI Gateway открытые модели забирают львиную долю токенов, а на счёт — около четверти оборота; за месяц почти треть команд сменила любимую лабораторию. Типичный активный заказчик крутит не одну модель, а десятки имён: чем выше оборот, тем шире стек. Токены и доллары в одном шлюзе часто идут разными дорогами — это не глюк дашборда. Разложите в метриках, что лидирует по объёму и что тянет бюджет, прежде чем крутить роутинг и fallback. Без этого оптимизируете не ту строку.
5 просмотров