🔒Открыть пост
и посмотреть медиа
и посмотреть медиа
Регрессия к среднему как ловушка в аналитике
Статистическое правило, которое часто неверно понимается: если какой-то показатель был слишком хорошим или слишком плохим, то в следующем периоде он станет ближе к норме. И это ухудшение или улучшение происходит само по себе, вне зависимости от того, вмешивается ли кто-либо или нет.
И из-за этого довольно легко подумать, что именно то самое вмешательство вернуло показатель в норму, хотя это не так (ну или не совсем так).
🟠Как же бороться с таким эффектом? Как оценить эффект именно от вмешательства, а не от статистической закономерности?
Для этого вводятся контрольные группы.
Контрольная группа - это часть выборки, к которой не применяется вмешательство. Она нужна именно для того, чтобы отделить реальный эффект от естественной регрессии к среднему.
Логика следующая: если и тестовая группа, и контрольная синхронно сдвигаются к норме, это значит, что дело не во вмешательстве. А вот если тестовая группа улучшилась заметно сильнее контрольной, то это уже скорее всего реальный эффект.
🟠Но как узнать, насколько сильно должна измениться тестовая группа по отношению к контрольной, чтобы сказать, что это - с огромной вероятностью эффект вмешательства? Где именно проходит эта граница?
Для этого нужно посчитать статистическую значимость. Суть в следующем.
Например, у нас есть n магазинов. Из этих n магазинов выбираем 10% самых худших по выручке с целью повысить их показатели. Эти 10% магазинов случайным образом делим на 2 группы: по 5% на тестовую и контрольную группы.
Затем берем среднее значение внутри каждой группы ДО и ПОСЛЕ эксперимента. Считаем прирост и стандартное отклонение для этого прироста.
Получившиеся результаты вставляем в формулу по расчету t-статистики, с помощью которой уже находим p-value и определяем, действительно ли меры были эффективны или это всё же результат статистической закономерности.
