Как быстро и надёжно обеспечить доставку справочных данных из мастер-систем в оперативн...
Как быстро и надёжно обеспечить доставку справочных данных из мастер-систем в оперативную память сотен подов? Мы сделали это через холодный старт в S3 и поллинг PostgreSQL. Привет! Это Илья Васильков, ведущий разработчик команды маршрутизации магистральных перевозок. Мы начали с регулярной полной выгрузки, попробовали переход на дельту и создали промежуточный in-memory сервис. В итоге пришли к архитектуре ✨снапшоты в S3 + дельта из PostgreSQL✨ Главные выводы, которые мы сделали из этого процесса: ⚫️каждое архитектурное решение может быть правильным для своего масштаба, не стоит сразу проектировать космолёт; ⚫️Pull зачастую надежнее Push, особенно для fan-out дистрибуции данных на сотни подов; ⚫️холодный старт требует отдельного подхода: разделение инициализации и работы с дельтой полностью решило нашу проблему масштабирования. Плюсы, минусы и подводные камни каждого решения, которое мы использовали, найдёте в моей статье. Полезного чтения 📖 #ozontech_habr #go