Data analysis - DA SQL

Предвзятость отбора в аналитике Предвзятость отбора (selection bias) - это систематическая ошибка, которая возникает в случаях, когда выборка не является репрезентативной для генеральной совокупности. И из-за того, что аналитика изначально уже строится на таких искаженных данных, получаются неверные выводы. И хоть это кажется интуитивно понятным, что всего-то и нужно, что брать объективные данные, которые отображают как "плюс", так и "минус", на деле это бывает далеко не всегда очевидно. Существуют множество видов так называемых bias, но самые основные из них это: ▶️Sampling bias – наиболее очевидный вариант: способ сбора данных искажает распределение. Возникает на этапе формирования выборки. Например, если строится модель кредитоспособности клиентов, которая должна уметь предсказывать дефолты, то нужно брать не только тех, кто получил кредит, а еще и тех, кому было отказано. Потому что у отказников могли быть принципиально иные характеристики, и без их учёта аналитика будет строиться только на хороших клиентах. И в результате модель не сможет предсказывать дефолты среди потенциальных новых заёмщиков, потому что просто не знает, как выглядят рискованные профили. ▶️Если говорить о Survivorship bias (смещение выжившего), то, в отличие от предыдущего искажения, которое возникает на этапе формирования выборки, это искажение возникает в результате "естественного отбора" во времени. Анализируются только те, кто просуществовал до момента наблюдения, а выбывшие игнорируются. Например, при расчете доходности кредитного портфеля, сформированного из кредитов пятилетней давности, берутся только активные кредиты, которые существуют до сих пор. При этом игнорируются досрочно погашенные кредиты и кредиты, закрытые из-за дефолта. Из-за этого итоговая доходность может сильно исказиться. ▶️Self-selection bias возникает в основном в социальных исследованиях, когда участники сами могут решать, участвовать или нет. Потому что обычно решение участвовать или нет - не случайно, а связано с характеристиками участников, которые могут влиять на изучаемый показатель. Вспоминая пример из Sampling bias с кредитной моделью, обсуждалось только 2 категории клиентов: те, кому одобрили кредит и те, кому отказали. Но в случае с Self-selection bias появляется уже третья категория - те, кто в принципе не обращался за кредитом по той или иной причине. И если банк, например, считает "вероятность взять кредит" без учета третьей категории, то он игнорирует конверсию самого кредитного предложения, из-за чего результаты будут сильно завышены. ▶️Collider bias - одно из самых неочевидных искажений, потому что связано с двумя и более факторами, которые влияют на само событие. Например, возвращаясь обратно к кредитам, представим, что есть 2 фактора, которые влияют на одобрение: это финансовая дисциплина (А) и уровень дохода (Б). И достаточно выполнения только лишь одного из этих условий, чтобы кредит одобрили. При этом также допустим, что в популяции А и Б никак между собой не связаны. Теперь представим, что есть выборка только среди тех, кому кредит одобрили. И на этой выборке исследуются факторы А и Б. Такая выборка уже изначально может содержать только лишь данные, в которых: А = 1 Б = 1 ----------- А = 0 Б = 1 ----------- А = 1 Б = 0 Из-за этого между А и Б возникает отрицательная корреляция, потому что если у клиента А = 0, то у него якобы обязательно должен быть Б = 1, и наоборот. То есть эти 2 фактора становятся связанными между собой, хотя, как было сказано ранее, в популяции А и Б между собой вообще никак не связаны.