Да простят меня те, кто продает сервисы по a/b тестированию. Но уж слишком хорошо меня ... — 20 июня 2026 г. в 09:42:43.724
Да простят меня те, кто продает сервисы по a/b тестированию. Но уж слишком хорошо меня учили терверу в Универе, поэтому молчать не могу😎 Когда вы делаете a/b тестирование, все ВСЕ ( не видел еще ни одного случая) недооцениваете, и жестко недооцениваете один фактор...Статистическую выборку. И уровень погрешности при малой выборке. На скрине нормализованная погрешность при справедливом CTR=4% Расскажу на примере. Все интуитивно понимают, что вероятность выпадения орла/решки в орлянке справедливо 50/50 . Но это не означает, что при подбрасывании монетки все будет идти ровно. Семплы их 100 подбрасываний, где фактический результат был 65/35 очень вероятны. И даже 75/25 не фантастика. Но вы же не станете по результатам такого семпла утверждать, что орел лучше решки (надеюсь, не станете) Но вот в a/b тестировании вы делаете ровно это. Берете маленький семпл, например 1000-3000 показов и пытаетесь найти лучший дизайн. Это очень грубая методологическая ошибка, которая стоит денег, времени и риска принять неправильное решение. Смотрите на скрин. Даже на 100К показов отклонение от справедливого есть. Там оно уже небольшое, но есть. А на 5000 показов оно огромно. Сделав тест на 5000 показов, вы не получите никакой достоверной информации. Более-менее достоверным будет тест на 60-80К показов каждого дизайна. С учетом того, что тест проводится не в вакууме: разное время суток, разны дни недели, разные числа месяца, разное окружение конкурентов вокруг карточки, разный зарлатный цикл...и тд и тп... A/B тестирование в 99% случаев- это пустая трата времени и денег. И никакие аргументы " а вот у меня сработало" на меня не подействуют. У меня тоже срабатывало выкинуть 75 орлов из 100 бросков