Data analysis - DA SQL

Есть ли смысл искать жильё в аренду напрямую от собственника? На примере выгрузки из Циана по московскому рынку аренды жилья за 2026 год Moscow Rent Cian With Images, содержащей около 25 тысяч объявлений, выясним, действительно ли цена аренды от агента отличается от цены аренды от собственника, и если да, то на сколько? Причем разницу будем искать не в виде единоразового первоначального платежа, а в виде стоимости самой аренды на весь срок. 🟠Сравнение будет проводиться с учетом следующих факторов: — Район — Расстояние до метро (мин пешком) — Тип ремонта — Год постройки дома — Площадь квартиры — Число комнат — Этаж и этажей всего 🟠Анализировать будем с помощью метода ближайших соседей: для каждой квартиры будет подбираться максимально похожий аналог напрямую из датасета с учетом вышеперечисленных факторов. Таким образом будет сформировано множество пар практически полностью аналогичных квартир, но одна из которых - от собственника, а другая - от агента. Затем сравним стоимость аренды внутри каждой пары и проверим это всё на статистическую значимость. 🟠Перед анализом, как и обычно, нужно очистить датасет от пропусков, т.к. метод ближайших соседей с ними не работает. Поэтому можно выделить основные факторы модели: сдающий (собственник/агент), цена, район, площадь и кол-во комнат. Здесь важно удалить все строки с пропусками по этим факторам. И в итоге получится выборка почти из 21 000 объявлений, из которых от собственника - чуть больше 5500. Значит, потенциально может быть выборка примерно из 5500 пар собственник-агент с контролем факторов. Пропуски по второстепенным факторам (тем, которые остались), можно заполнить медианными значениями по каждому району. 🟠Затем кодируем признаки и применяем NearestNeighbors() из библиотеки sklearn. В качестве параметров - евклидово расстояние между факторами и поиск только лишь по 1 ближайшему соседу на каждую квартиру. Ожидаемо, что не все пары получились идеальными. 10% пар нужно было отсечь из-за того, что общее расстояние между ними было слишком велико. Из оставшихся пар еще 24% нужно было отсечь из-за того, что сравнивались несопоставимые факторы при других равных факторах (например, площадь 132 кв. м. сравнивалась с 43 кв. м.). Итого получилось около 3800 вменяемых пар. ❗️Вывод: при анализе 3800 пар практически полностью сопоставимых между собой по перечисленным факторам квартир, обнаружилось, что по медиане стоимость аренды от собственника на 5,5% дороже стоимости аренды от агента. В рублях медианная разница вышла около 4 000 руб/мес. При этом доля пар, где у собственника цена дороже - около 57%. У агента дороже в 33% случаев, а одинаковая цена в 10% пар. Все результаты стат значимы. 🟠А более подробно полный цикл анализа реальных данных можно научиться проводить в моем курсе на Stepik.