Стратегия отлично прошла историю. Сколько других вариантов отбросили, прежде чем её пок...
Стратегия отлично прошла историю. Сколько других вариантов отбросили, прежде чем её показать? Представим исследователя, который меняет период индикатора, день входа, стоп и набор бумаг. После двадцати проверок он выбирает самый красивый результат. В презентацию попадает одна кривая, хотя отбор шёл между множеством кандидатов. Даже если ни у одного варианта нет настоящего преимущества, удачная случайность может выглядеть убедительно. Для иллюстрации возьмём двадцать независимых статистических проверок: у каждой вероятность ложного сигнала равна 5%. Тогда шанс получить хотя бы один такой сигнал составляет: 1 − 0,95 в степени 20 ≈ 64%. Это учебная модель множественных проверок, а не оценка вероятности ошибки конкретного бэктеста. В реальном подборе варианты обычно связаны между собой, а критерии отбора сложнее. Но сам эффект никуда не исчезает: чем больше попыток спрятано за победителем, тем труднее поверить его результату без дополнительной проверки. Что я хочу увидеть рядом с красивой кривой Во-первых, экономическое объяснение: почему правило вообще должно работать и кто обеспечивает доход. Подгонка параметров сама по себе такого объяснения не создаёт. Во-вторых, проверку на данных, которые не использовали для выбора правил. Параметры фиксируют заранее и только потом смотрят новый участок. Если после неудачи снова дорабатывать стратегию по этому участку, он уже перестаёт быть независимой проверкой. В-третьих, реальные ограничения торговли: комиссии, проскальзывание, доступную ликвидность и время появления информации. Цена, известная только после закрытия дня, не могла помочь сделке, совершённой утром того же дня. Полезно и посмотреть соседние параметры. Если правило прекрасно работает с периодом 17, но разваливается при 16 и 18, это повод проверить устойчивость результата. Хорошая история — начало проверки стратегии. Для меня она становится убедительнее, когда понятно, как её выбирали и что произошло после фиксации правил. CFA Institute — руководство по проверке инвестиционных моделей. Вероятностный пример условный и предполагает независимость проверок.