Чтобы обслужить миллиард пользователей, OpenAI перестал использовать отдельные базы данных
Чтобы обслужить миллиард пользователей, OpenAI перестал использовать отдельные базы данных Habitat, платформа хранения OpenAI, теперь работает на одном общем контейнере Azure Cosmos DB, несмотря на 100 миллионов запросов в секунду. Раньше каждая функция требовала отдельного контейнера — это создавало проблемы с планированием пропускной способности и шумными соседями. Теперь система использует serverless-режим с динамическим масштабированием и контролем качества обслуживания, чтобы приоритетные запросы не страдали от фоновых задач. Система перестала зависеть от ручного масштабирования. Вместо этого изменения в данных распространяются через Change Data Capture — и кэш обновляется глобально за секунды. Чтобы уменьшить задержку, данные размещаются ближе к пользователям, где возможно. Кэши в Valkey и переписанный на Rust код сократили медианную задержку с 120 до 10 мс. Это не просто оптимизация — это переход от «управляемых» сервисов к совместной инженерии с Azure.