⚡️ Как ускорить A/B-тест с несколькими метриками, не ломая статистику
⚡️ Как ускорить A/B-тест с несколькими метриками, не ломая статистику В продуктовых экспериментах часто одна целевая метрика. Но бывает сложнее: например, хотим увеличить выручку, но не готовы раскатывать, если просела конверсия в покупку. Значит, метрик будет несколько, и нужно контролировать вероятность хотя бы одной ложноположительной ошибки. Классическое решение в таком случае — поправка Бонферрони. Делим общий уровень значимости поровну между метриками. Это просто, но не всегда эффективно: если одна метрика требует сильно больше пользователей, именно она определяет длительность всего теста. В нашей лаборатории прикладной статистики предложили не делить уровень значимости поровну, а распределять его оптимально. Контроль ошибки первого рода сохраняется, а размер выборки в наших тестах сократился в среднем в 1,2 раза. На синтетике с 10 метриками выигрыш доходит до 1,9 раза. В карточках — о том, как устроен метод и где он дает эффект. А подробности, математика и результаты экспериментов — на Хабре. #abtesting #statistics #experiments #productanalytics