⚡️ Как ускорить A/B-тест с несколькими метриками, не ломая статистику В продуктовых экспериментах часто одна целевая метрика. Но бывает сложнее: например, хотим увеличить выручку, но не готовы раскатывать, если просела конверсия в покупку. Значит, метрик будет несколько, и нужно контролировать вероятность хотя бы одной ложноположительной ошибки. Классическое решение в таком случае — поправка Бонферрони. Делим общий уровень значимости поровну между метриками. Это просто, но не всегда эффективно: если одна метрика требует сильно больше пользователей, именно она определяет длительность всего теста. В нашей лаборатории прикладной статистики предложили не делить уровень значимости поровну, а распределять его оптимально. Контроль ошибки первого рода сохраняется, а размер выборки в наших теста…
Читать целиком