🔒Открыть пост
и посмотреть медиа
и посмотреть медиа
Как можно уменьшить количество групп в классификации
Допустим, есть набор данных из миллиона строк с банковскими транзакциями, который содержит такие параметры, как:
▶️Id транзакции
▶️Id клиента
▶️Дата рождения клиента
▶️Пол клиента
▶️Локация
▶️Дата транзакции
▶️Время транзакции
▶️Баланс счета клиента
▶️Сумма транзакции
🟠Первое, что можно сделать после проверки данных на качество - это провести классификацию клиентов (как вариант). Это нужно, чтобы понять, что за данные перед нами, а именно - понять специфику той или иной группы клиентов. Можно взять основные клиентские признаки (локация, пол, возрастной диапазон (18-25, 26-30 и т.д.)) и, используя группировку и агрегатные функции, посчитать такие метрики (в разрезе каждой группы), как:
▶️Количество транзакций
▶️Сумма транзакций
▶️Средняя, медианная и модальная суммы транзакций
▶️Количество уникальных клиентов
▶️Сумма баланса на счете
▶️Средняя, медианная и модальная суммы баланса на счете
▶️Процент от общей суммы транзакций
▶️Процент от общей суммы баланса
Это даст понимание того, насколько значима та или иная группа клиентов в контексте рассчитанных показателей.
🟠Но бывает, возникает ситуация, что количество групп клиентов оказывается слишком большим. Если группировать клиентов только по возрастному диапазону и полу, то кол-во строк в классификации адекватное, но если в классификацию включать еще и локацию (которая бывает излишне детализирована), то строк может стать несколько тысяч. Из-за этого значительно затрудняется анализ.
На примере локаций рассмотрим несколько вариантов, как можно решить эту проблему.
▶️Можно из описания локации вытягивать только ключевые слова (например, название города) с помощью LIKE в SQL или его альтернатив на Python. Идея в том, чтобы объединить локации по типу "Москва, ул. Тверская...." и "Москва, ул. Никольская..." в один кластер "Москва", что, очевидно, уменьшит итоговый размер классификации и сделает ее более читаемой.
Повезет, если это сработает. Но нужно понимать, какой именно город надо вытягивать, и прописывать название каждого из них в скрипте, это довольно долго и трудоёмко. Вдобавок, датасеты бывают разные, и ощутимое количество важных локаций нельзя будет идентифицировать так просто.
▶️Можно разделить локации на "Значимые" и "Прочие" на основании того или иного критерия. Например, если на локацию приходится больше n% от общей суммы транзакций И больше n% от общей суммы баланса И больше n% от общего кол-ва уникальных клиентов, то выводим ее как есть. Если локация не проходит эту фильтрацию, то объединяем ее вместе с такими же локациями в кластер "Прочие". Эта мера так же призвана уменьшить количество строк в финальной классификации.
Опять же, повезет, если это сработает. Основная проблема здесь - найти такое значение n%, при котором одновременно и количество строк будет в итоге адекватным, и категория "Прочие" не будет слишком большой (условно, чтоб не получилось так, чтобы в "Прочее" было 10% всех клиентов, тогда как у отдельно взятой самой большой "Значимой" локации будет значение 1-2%).
И опять же, повезет, если такое значение n% всё же есть. Но его легко может и не быть, всё зависит от изначального датасета.
▶️Еще один способ - это применять различные NLP-библиотеки. Идея такая же, как и в первом варианте, только вместо ручного составления списка улиц/городов этот процесс будет происходить автоматически.
Из минусов - неидеальная точность определения локаций и медленная скорость работы.
▶️В заключение один достаточно интересный способ - кластеризация локаций по координатам (можно использовать k-means в python). Если координаты прописаны в датасете изначально, то это огромный плюс - можно сразу проводить кластеризацию. Если же их нет, то получить их можно, например:
- через API google или яндекс карт;
- через внешние БД координат городов и улиц(нужно будет скачать и присоединить к своему датасету);
- через внешние БД координат по почтовым индексам