Написали оптимизатор и встроили его в уже существующую A/B-платформу. Делимся опытом.
Написали оптимизатор и встроили его в уже существующую A/B-платформу. Делимся опытом. Привет, это Костя Козлов из команды анализа и валидации экспериментов A/B-платформы. Для роста бизнес-метрик нам был необходим инструмент тюнинга гиперпараметров рекомендательной системы из данных, которые мы собираем с помощью платформы A/B-тестов. Если перед вами стоит задача подбора непрерывных параметров и важно делать это экономически эффективно, заходите в статью ⬅️ Я разобрал, как формализовать задачу оптимизации, учитывать дисперсию метрик и применять модели-оценщики для принятия оптимальных решений. Показал, как работать в условиях ограничений, когда невозможно равномерно тестировать все варианты и важно заранее отключать неэффективные. В статье не только математическая основа, но и практический дизайн: рассказ о том, как мы встроили оптимизатор в A/B-платформу и научились эффективно управлять трафиком ❕ #ozontech_habr