Нейронка научилась подводить итоги тестов на конверсию 🧠
Нейронка научилась подводить итоги тестов на конверсию 🧠 Сейчас сильно в запаре по рабочим вопросам, писать не успеваю. Но одной наработкой хочется поделиться. Потому что прошел ровно год с моих первых попыток скрестить аналитику конверсий с нейронкой. И сейчас случился прорыв. Две недели назад рассказывал, как нейронка за 5 минут делает сверку данных между рекламой и CRM. Сегодня — следующий шаг. Научил её полноценно анализировать тесты на сайте: поставил баннер, поменял форму, добавил блок — сработало или нет? Что изменилось по скорости Если ты умеешь делать такой анализ, это пару часов работы с данными. Сейчас за 10 минут получаю первый результат, ещё 10-15 минут правок в диалоге — и на выходе отчёт, который я спокойно отправляю клиенту. А обучить человека проводить такие тесты — это вообще отдельная боль. Несколько недель минимум, и то если под рукой сразу 2-3 проекта с активными тестами. В реальности нужно проконтролировать первых 10 отчётов, чтобы у человека выработался правильный навык. Правильно работать с данными умеет очень мало людей. Это прям моя большая боль. Что скилл ловит сам Проверяет, достаточно ли данных для выводов. Это частая ошибка. Люди смотрят "было 3%, стало 5%" и делают вывод. А на 150 посетителях это может быть просто шум. Скилл это видит и прямо говорит: "данных мало, рано делать выводы, финальное решение после такой-то даты". Учитывает 3 типа смещения трафика. Может сместиться доля мобильных, может измениться соотношение поискового и рекламного трафика, могут переобучиться автостратегии Директа. На реальном проекте сегодня он одно из таких смещений нашёл и подсветил. Сверяет с контрольными группами. Не просто "до/после", а проверяет: а в категориях без изменений конверсия тоже выросла? Если да — дело не в твоих изменениях, а во внешнем факторе. Оценивает эффект новизны. Первая неделя после изменения часто даёт завышенный результат, потому что люди реагируют на "новое". Скилл это учитывает и предупреждает. Как считает Все расчёты через конкретный код: SQL-запросы к ClickHouse и статистические библиотеки Python. Ничего не додумывается, каждая цифра привязана к данным. Пока не нашёл ни одной ошибки в вычислениях. На выходе два формата отчёта. Один понятный обычному человеку: что тестировали, что получилось, что делать дальше. Второй с полной математикой: p-value, доверительные интервалы, Fisher exact test, разбивка по источникам трафика. Про экспертизу Это работает, только если ты сам понимаешь, как правильно делать аналитику. Без этого нейронка пойдёт по типовому пути, а типовые подходы к анализу тестов часто ошибочные. Не учитывают кучу факторов. Чем глубже ты погружён в тему, тем точнее можешь направить нейронку и тем больше нюансов она будет проверять. Кайфую от того, как ClickHouse + нейронка вместе работают. Если данные лежат в структурированной базе, вытаскивать из них аналитику стало на порядок проще. Есть куда докручивать, но за первые три итерации — результат прям хороший.