AWS SageMaker и MLflow синхронизируют модели для улучшенного управления
AWS SageMaker и MLflow синхронизируют модели для улучшенного управления 📝 Суть AWS интегрировала управляемый MLflow с Amazon SageMaker AI Model Registry, чтобы автоматически синхронизировать зарегистрированные модели, включая метрики обучения, результаты оценки и происхождение данных. Эта синхронизация позволяет более эффективно управлять жизненным циклом моделей, обеспечивая возможность одобрения и аудита моделей, достигнувших производственной среды, без необходимости отрыва специалистов по данным от их рабочего процесса. 🔢 Факты • После активации синхронизации реестра моделей (Model Registry sync) в приложении MLflow, каждая зарегистрированная модель создает соответствующую группу пакетов моделей (Model Package Group) и версию пакета (Package version) в Amazon SageMaker AI Model Registry. • Синхронизация также передает метрики обучения, метрики оценки, спецификацию развертывания для инференса и информацию о происхождении данных, связанную с запуском MLflow. • Специалисты по данным могут регистрировать модели с помощью одного вызова MLflow, опционально добавляя спецификацию для инференса и метрики оценки перед регистрацией. • Синхронизированные метаданные включают: параметры модели, метрики обучения, местоположение обучающего набора данных, путь к артефактам модели, метрики оценки (как карточка модели), спецификацию инференса и информацию о происхождении. • Плагин sagemaker-mlflow версии 0.5.0 добавляет журналирование образа инференса и возможность предоставления пользовательской сессии boto3 для подписи запросов с использованием учетных данных в зависимости от контекста. • В одноаккаунтной конфигурации администратор платформы активирует синхронизацию реестра моделей, предоставляет соответствующие разрешения IAM и применяет политики IAM для ролей специалиста по данным и специалиста по управлению. • Специалист по данным регистрирует модель, добавляет псевдоним жизненного цикла для перемещения в staging/pending, но не может переместить модель в производство из-за настроенной политики IAM. • Для блокировки утвержденной модели от дальнейших изменений может быть применен ресурсный тег к группе пакетов моделей с соответствующим запрещающим условием IAM (aws:ResourceTag/frozen = true). ⚖️ Почему это важно Автоматическая регистрация моделей между управляемым MLflow и Amazon SageMaker AI Model Registry обеспечивает для специалистов по управлению полную и синхронизированную картину каждой модели-кандидата, включая метрики обучения, метрики оценки, спецификацию инференса и происхождение данных, без необходимости отвлечения специалистов по данным от их рабочего процесса. 👀 Что отслеживать В следующей части серии будет рассмотрено расширение этих возможностей для меж-аккаунтных топологий управления, а также применение этих строительных блоков к моделям управления в виде хаб-и-спица, гибридным моделям для регулируемых сред и путям от одобрения до развертывания через CI/CD. ↗ Источник: https://aws.amazon.com/blogs/machine-learning/govern-models-with-mlflow-and-amazon-sagemaker-ai-model-registry-sync-part-1/