🔒Открыть пост
и посмотреть медиа
и посмотреть медиа
Talend
Talend — это довольно популярная платформ для интеграции и управления данными. В основном используется как ETL-инструмент.
Вообще, Talend - это целая экосистема продуктов, но самые популярные из них и наиболее нужные аналитикам - это Talend Open Studio (бесплатная версия, но уже считается старой) и Talend Data Integration Platform (платная версия, более расширенная по сравнению с Open Studio).
🟠ETL-процесс в Talend визуализируется в виде Job. Создаются они с помощью специальных операторов, с которыми можно просто взаимодействовать на уровне интерфейса Talend Studio (или TDI). После запуска Job трансформируется в код (в основном это Java). Выглядит этот процесс следующим образом:
1️⃣Сначала идет подключение к источнику данных. Вариантов источника может быть много: Talend поддерживает различные базы данных, файлы, CRM-системы, облачные хранилища и еще много всего.
Подключение идет через вышеупомянутые операторы, например:
➖tFileInputDelimited - для CSV файлов
➖tFileInputExcel - для Excel файлов
➖tDBInput - для баз данных (MySQL, PostgreSQL, Oracle)
➖tHDFSInput - для Hadoop HDFS
2️⃣Затем опционально идет преобразование данных в нужный формат / вид. Осуществляется это с помощью операторов:
➖ tMap - универсальный оператор в части трансформации ETL-процесса. Отвечает за маппинг, вычисления, "джоины", форматирование...
➖tFilterRow - фильтрация данных
➖tAggregateRow - агрегатные функции
➖tSortRow - сортировка
➖tUniqRow - удаление дубликатов
3️⃣В конце данные загружаются в целевое место. Пример операторов, которые за это отвечают:
➖tDBOutput - запись в базу данных
➖tFileOutputDelimited - запись в CSV файл
➖tHDFSOutput - запись в HDFS
➖tLogRow - вывод в логи
🟠Также нельзя еще забывать, что Talend можно использовать для Data Quality и для Data Preparation. Для этого подойдёт всё тот же Talend Data Integration, но для Data Preparation можно еще использовать и Talend Data Preparation.
Для Data Quality процесс выглядит так:
1️⃣Сначала выбирается источник данных по аналогии с описанным ETL-процессом.
2️⃣Затем делается профилирование через отдельный модуль Data Profiling вне Job'а (сколько null, дубликатов, какие min, max, avg и т.д.)
3️⃣Потом настраиваются правила качества данных (оператор tRule). Позволяет задавать требования по null, формату, разные числовые ограничения и т.п.
4️⃣В конце через Talend можно вывести отчет по проверке данных на DQ.
Data Preparation во множестве ситуаций можно делать через обычный ранее упомянутый tMap. После подключения к источнику через tMap можно очищать данные (преобразовывать в нужный формат, удалять дубликаты...), заполнять пропуски и дополнять данные (например, добавлять маппинг)