Jamf внедрила систему контроля расходов на Amazon Bedrock
Jamf внедрила систему контроля расходов на Amazon Bedrock 📝 Суть Компания Jamf, управляющая устройствами Apple для более чем 76 000 организаций, разработала систему для контроля расходов на генеративный ИИ в Amazon Bedrock. Система позволяет отслеживать ежедневные расходы каждого инженера и применять ограничения на использование моделей при приближении к установленному лимиту, чтобы обеспечить подотчетность и контроль затрат. 🔢 Факты • Система Jamf позволяет отслеживать ежедневные расходы каждого инженера на Amazon Bedrock и применять поэтапные ограничения на использование моделей. • Модель Anthropic Claude Haiku остается доступной даже при полном исчерпании дневного бюджета, позволяя инженерам продолжать работу. • Ограничения вступают в силу в течение нескольких минут, не требуют повторной аутентификации и автоматически сбрасываются ежедневно. • Для инженеров, которым требуется больший лимит, предусмотрен процесс получения временных исключений. • При пересечении нового порога расходов Lambda отправляет пользователю уведомление в Slack. • Для предоставления временных повышенных лимитов используется команда Slack /bedrock-limit, которая записывает данные в таблицу исключений DynamoDB с указанием срока действия. • Расходы на AWS Lambda, DynamoDB и S3 составили менее 10 долларов в месяц для сотен инженеров. • Управляемая политика IAM поддерживает максимум пять версий; Lambda должна удалять старейшую не-основную версию перед созданием новой. ⚖️ Почему это важно Внедрение контроля расходов на генеративный ИИ стало возможным благодаря наблюдаемости затрат, что позволило руководству Jamf с уверенностью расширять доступ к ИИ-инструментам. ↗ Источник: https://aws.amazon.com/blogs/machine-learning/tokenomics-at-scale-how-jamf-built-real-time-spend-enforcement-for-amazon-bedrock/