Одна строка в системном промпте съедает 99% кэша: скрытая утечка денег в AI-агентах
Одна строка в системном промпте съедает 99% кэша: скрытая утечка денег в AI-агентах Автор показывает, что добавление строки с текущим временем в системный промпт полностью отключает провайдерский кеш: префиксовое кэширование работает ровно до первого несовпадения. На примере Claude Code зафиксировано 1% против 98% попаданий в кеш при идентичных запросах — экономически это означает разницу в 10–31 раз по цене токена. Показаны и менее очевидные поломки кеша: инструменты со словарями с плавающим порядком ключей, база знаний на set() и другие «тихие» инциденты, которые не видны по логам. 🔗 https://habr.com/ru/articles/1075690/?utm_campaign=1075690&utm_source=habrahabr&utm_medium=rss
23 просмотров