Сигнал замечает 80% будущих победителей: почему среди его рекомендаций успешна только т...
Сигнал замечает 80% будущих победителей: почему среди его рекомендаций успешна только треть Фраза «модель находит 80% успешных компаний» кажется сильной. Но я сначала уточняю: сколько ошибочных срабатываний приходится на остальных. Для инвестора важна вероятность успеха после сигнала, а это другая величина. Тысяча условных наблюдений Предположим, среди 1 000 компаний только 100 достигнут заранее заданного результата за выбранный срок. Остальные 900 его не достигнут. Что считать успехом и какой срок использовать, определяем до проверки модели. Сигнал действительно замечает 80% будущих победителей: срабатывает у 80 из 100. Однако он также выдаёт положительный ответ для 20% неуспешных компаний. Это 180 ложных сигналов из 900. Итого положительных ответов — 260. Успешных среди них 80, поэтому искомая вероятность равна 80 / 260 = 30,77%. Не 80% и даже не половина. Ошибка в направлении вопроса «Как часто сигнал появляется у будущего победителя?» и «Как часто победителем становится компания с сигналом?» нельзя переставлять местами. Второй вопрос зависит и от частоты успеха среди всех рассматриваемых компаний. В нашем примере это только 10%. Сигнал при этом не бесполезен: он повысил условную вероятность с 10% до 30,77%. Но полезность для сделки ещё зависит от цены входа, размеров выигрыша и потери, комиссии и возможности пережить серию неудач. Более высокая вероятность не означает положительную ожидаемую доходность при любой цене. Что произойдёт в другой выборке Если будущих победителей было бы 500 из 1 000, при тех же долях правильных и ложных срабатываний получили бы 400 истинных сигналов и 100 ложных. Тогда среди отмеченных компаний успешными стали бы уже 80%. Алгоритм формально тот же, но исходная частота события изменилась. Поэтому перенос модели из одного сегмента рынка в другой требует проверки, а не только копирования рекламной метрики. Я прошу четыре числа: сколько было успешных и неуспешных наблюдений, сколько сигналов модель выдала в каждой группе. Отдельно смотрю, получены ли они на новых данных, а не на наборе для настройки. Сначала таблица исходов, потом процент точности. Такой порядок защищает от ситуации, когда математически верное утверждение отвечает совсем не на тот вопрос, который интересует покупателя. Источники: CFA Institute: условные вероятности и формула Байеса. Не индивидуальная инвестиционная рекомендация.