Управление моделями MLflow и Amazon SageMaker AI Model Registry: Часть 2
Управление моделями MLflow и Amazon SageMaker AI Model Registry: Часть 2 📝 Суть AWS представила две новые топологии для управления моделями машинного обучения в разных аккаунтах AWS, расширяя возможности синхронизации MLflow с Amazon SageMaker AI Model Registry. Эти решения направлены на улучшение управления моделями в крупных организациях и в регулируемых средах, где требуется разделение разработки и продакшена. 🔢 Факты • Вторая часть статьи описывает две топологии для управления моделями между аккаунтами: «хаб-и-спицы» с централизованным управлением и гибридную топологию для регулируемых сред. • Топология «хаб-и-спицы» централизует управление, используя одно приложение MLflow, совместно используемое между аккаунтами разработки (спицы) и центральным аккаунтом управления (хаб) через AWS Resource Access Manager (AWS RAM). • Гибридная топология изолирует аккаунты разработки от центрального узла управления, что подходит для регулируемых сред, где разработка не должна иметь доступа к продакшен-аккаунтам. • Администратор выполняет одноразовую настройку межаккаунтного доступа, включая настройку AWS RAM, политик бакетов и групп назначений. • В гибридной топологии владелец модели в каждом аккаунте разработки сначала локально утверждает модели, прежде чем они будут переданы в хаб. • Для топологии «хаб-и-спицы» требуется, чтобы артефакты моделей хранились в S3-бакете в хабе, а аккаунты разработки имели доступ к нему для чтения. • После первой регистрации модели в топологии «хаб-и-спицы» администратор подключает политику ресурсов к группе пакетов моделей и передает ее обратно спице с разрешением AllowDeploy. • В топологии «хаб-и-спицы» данные, отправленные из Jupyter-ноутбука в MLflow, синхронизируются с Model Package Group и версией в хабе, ожидая утверждения. • Автоматическая регистрация в топологии «хаб-и-спицы» добавляет короткий суффикс хэша к имени группы, например, my-model становится my-model-<hash>, что требует ссылки на группу по полному ARN. • Рабочий процесс копирования в гибридной топологии реплицирует артефакты модели в бакет, принадлежащий хабу, переписывает спецификацию инференса и регистрирует пакет в группе назначений хаба. ↗ Источник: https://aws.amazon.com/blogs/machine-learning/govern-models-with-mlflow-and-amazon-sagemaker-ai-model-registry-sync-part-2/