Data analysis - DA SQL

Регрессия к среднему как ловушка в аналитике Статистическое правило, которое часто неверно понимается: если какой-то показатель был слишком хорошим или слишком плохим, то в следующем периоде он станет ближе к норме. И это ухудшение или улучшение происходит само по себе, вне зависимости от того, вмешивается ли кто-либо или нет. И из-за этого довольно легко подумать, что именно то самое вмешательство вернуло показатель в норму, хотя это не так (ну или не совсем так). 🟠Как же бороться с таким эффектом? Как оценить эффект именно от вмешательства, а не от статистической закономерности? Для этого вводятся контрольные группы. Контрольная группа - это часть выборки, к которой не применяется вмешательство. Она нужна именно для того, чтобы отделить реальный эффект от естественной регрессии к среднему. Логика следующая: если и тестовая группа, и контрольная синхронно сдвигаются к норме, это значит, что дело не во вмешательстве. А вот если тестовая группа улучшилась заметно сильнее контрольной, то это уже скорее всего реальный эффект. 🟠Но как узнать, насколько сильно должна измениться тестовая группа по отношению к контрольной, чтобы сказать, что это - с огромной вероятностью эффект вмешательства? Где именно проходит эта граница? Для этого нужно посчитать статистическую значимость. Суть в следующем. Например, у нас есть n магазинов. Из этих n магазинов выбираем 10% самых худших по выручке с целью повысить их показатели. Эти 10% магазинов случайным образом делим на 2 группы: по 5% на тестовую и контрольную группы. Затем берем среднее значение внутри каждой группы ДО и ПОСЛЕ эксперимента. Считаем прирост и стандартное отклонение для этого прироста. Получившиеся результаты вставляем в формулу по расчету t-статистики, с помощью которой уже находим p-value и определяем, действительно ли меры были эффективны или это всё же результат статистической закономерности.