Análisis de datos - DA SQL

Talend Talend — это довольно популярная платформ для интеграции и управления данными. В основном используется как ETL-инструмент. Вообще, Talend - это целая экосистема продуктов, но самые популярные из них и наиболее нужные аналитикам - это Talend Open Studio (бесплатная версия, но уже считается старой) и Talend Data Integration Platform (платная версия, более расширенная по сравнению с Open Studio). 🟠ETL-процесс в Talend визуализируется в виде Job. Создаются они с помощью специальных операторов, с которыми можно просто взаимодействовать на уровне интерфейса Talend Studio (или TDI). После запуска Job трансформируется в код (в основном это Java). Выглядит этот процесс следующим образом: 1️⃣Сначала идет подключение к источнику данных. Вариантов источника может быть много: Talend поддерживает различные базы данных, файлы, CRM-системы, облачные хранилища и еще много всего. Подключение идет через вышеупомянутые операторы, например: ➖tFileInputDelimited - для CSV файлов ➖tFileInputExcel - для Excel файлов ➖tDBInput - для баз данных (MySQL, PostgreSQL, Oracle) ➖tHDFSInput - для Hadoop HDFS 2️⃣Затем опционально идет преобразование данных в нужный формат / вид. Осуществляется это с помощью операторов: ➖ tMap - универсальный оператор в части трансформации ETL-процесса. Отвечает за маппинг, вычисления, "джоины", форматирование... ➖tFilterRow - фильтрация данных ➖tAggregateRow - агрегатные функции ➖tSortRow - сортировка ➖tUniqRow - удаление дубликатов 3️⃣В конце данные загружаются в целевое место. Пример операторов, которые за это отвечают: ➖tDBOutput - запись в базу данных ➖tFileOutputDelimited - запись в CSV файл ➖tHDFSOutput - запись в HDFS ➖tLogRow - вывод в логи 🟠Также нельзя еще забывать, что Talend можно использовать для Data Quality и для Data Preparation. Для этого подойдёт всё тот же Talend Data Integration, но для Data Preparation можно еще использовать и Talend Data Preparation. Для Data Quality процесс выглядит так: 1️⃣Сначала выбирается источник данных по аналогии с описанным ETL-процессом. 2️⃣Затем делается профилирование через отдельный модуль Data Profiling вне Job'а (сколько null, дубликатов, какие min, max, avg и т.д.) 3️⃣Потом настраиваются правила качества данных (оператор tRule). Позволяет задавать требования по null, формату, разные числовые ограничения и т.п. 4️⃣В конце через Talend можно вывести отчет по проверке данных на DQ. Data Preparation во множестве ситуаций можно делать через обычный ранее упомянутый tMap. После подключения к источнику через tMap можно очищать данные (преобразовывать в нужный формат, удалять дубликаты...), заполнять пропуски и дополнять данные (например, добавлять маппинг)