Закон Гудхарта или поговорим про KPI?
Закон Гудхарта или поговорим про KPI? Сегодня хочу рассказать вам про закон Гудхарта (Чарльз Гудхарт - британский экономист, сформулировал его в 1975 году). Звучит он так: Любая наблюдаемая статистическая закономерность имеет тенденцию разрушаться, как только на неё оказывается давление с целью управления. Более известная и формулировка этого закона принадлежит антропологу Мэрилин Стрэтер: Когда мера становится целью, она перестаёт быть хорошей мерой. Суть закона заключается в том, что как только показатель начинают использовать как KPI - поведение людей и систем подстраивается именно под этот показатель. И часто это делают часто в ущерб тому, что он изначально должен был отражать. Канонические примеры работы такого закона: - Завод в СССР, которому ставили план в тоннах, выпускал тяжёлые гвозди. Если ставили план в штуках - выпускал мелкие и бесполезные. - Если колл-центр получает KPI по времени обработки звонка, операторы начинают сбрасывать сложные обращения. - Школы, которые оценивают учеников по результатам тестов, начинают "натаскивать" учеников на тест вместо обучения предмету. У нас в маркетинге и рекламе есть аналогичные примеры: 1. Если у закупок KPI провести тендер, где выигрывает самая низкая комиссия - заказчик получает подрядчика низкого качества и вкладывает гораздо больше своих ресурсов на работу. 2. Цель тендера получить дешёвый клик? Агентство находит дешевый трафик или вообще льет фрод, а не целевую аудиторию. 3. Нужно растить конверсию - самое простое решение отсечь холодную аудиторию, а не научиться её прогревать. И так далее. Погоня за CTR, охватами, DAU или NPS как самоцелью почти всегда деформирует продукт или коммуникацию. Поэтому в зрелых командах метрики стараются балансировать (например, через North Star + контрметрики) и периодически пересматривать. NMS (North Star Metric) Это метрика, которая лучше всего отражает ключевую ценность, которую продукт создаёт для клиента. Идея в том, чтобы вся компания ориентировалась на один показатель, который одновременно коррелирует с ростом бизнеса и с реальной пользой для пользователя. И важно понимать, что это не метрика дохода. Рост выручки это следствие, а не причина. NSM должна описывать момент, когда клиент получает ценность. Как говорил один мой приятель, бизнес должен давать такую ценность для клиента, что деньги станут неизбежностью. Люди сами "принесут их в клювике". Просто сказать, сложно сделать. На практике NSM почти никогда не используется в одиночку - к ней добавляют контрметрики (guardrails). Контрметрики - это ответ на вопрос «какими способами мы не хотим достигать. Примеры: Netflix NSM: часы просмотра (hours streamed). Но часы просмотра можно «накрутить» дешёвым контентом, который смотрят фоном и Netflix добавил content completion rate (доля досмотренного контента) и title reach (сколько уникальных пользователей начали смотреть тайтл). Эти контрметрики не дают оптимизировать NSM за счёт низкокачественного контента большого объёма. Airbnb NSM: количество забронированных ночей (nights booked). Guardrails: bounce rate (процент отказов), page load speed (скорость загрузки страницы), seats booked for experiences. Пример из практики: когда в одном эксперименте убрали отображение правил дома на этапе checkout, бронирования выросли, но упали оценки в отзывах - сработала контрметрика Дополнительно Airbnb отслеживает удовлетворённость и retention хостов - чтобы рост бронирований не приводил к выгоранию хозяев и падению качества. В банке это может быть количество активных клиентов (MAU экосистемы). Guardrails: количество продуктов на клиента, NPS или CSI по продуктам (чтобы рост клиентской базы не шёл за счёт ухудшения сервиса), и CAC (если растёт быстрее LTV - рост убыточен). Короче будьте осторожны с KPI. #мысли #кругозор