Data analysis - DA SQL

Informatica PowerCenter Informatica PowerCenter — это ETL-инструмент, предназначенный для извлечения, преобразования и загрузки данных из разных источников в целевые хранилища, витрины и аналитические системы. Поддерживает очень много источников данных: реляционные СУБД, файлы, облачные сервисы, продукты Apache и т.д. Также поддерживает параллельную обработку, способен оптимизировать загрузку и работать с большими данными. В контексте метаданных можно создавать S2T Mapping, отслеживать происхождение данных с помощью Data Lineage (базово подойдет Metadata Manager, расширенно - Informatica Enterprise Data Catalog) и обеспечивать Data Quality (нужна интеграция с Informatica Data Quality). 🟠Организация ETL в PowerCenter имеет базово следующую логику: [Source] → [Transformation (опционально)] → [Target] Выглядит это так. Необходимо создать репозиторий в Repository Manager, подключить к нему источник данных и потом добавить нужные таблицы в категории Source и Target. В Informatica передадутся именно метаданные, а не сами данные. В Informatica PowerCenter Designer создается маппинг, куда потом просто добавляются метаданные из Source и Target. Сопоставление полей происходит автоматическим образом по принципу равенства их названий, но можно отключить Auto Link и создавать связи вручную или через Transformation. Существует много разных видов Transformation: Expression, Aggregator, Data Masking, Filter, Rank, Router и т.д. Остановимся на Expression и Aggregator: ▶️Expression работает по принципу построчной обработки: может делать CONCAT, IF, арифметические операции, SUBSTR, ROUND, DECODE и т.д. Для работы маппинга по такому принципу на вход Expression надо задать таблицу Source, на выход - таблицу Target, и связать выходные поля с полями целевой таблицы. ▶️Aggregator работает по принципу группировки наподобие GROUP BY. Как и в Expression, на вход идет Source-таблица. После этого можно делать преобразования по типу SUM, AVG, MAX, MIN, COUNT и т.п. После этого надо связать полученные значения с Target. Для дальнейшего переноса данных между БД по созданному маппингу в Informatica PowerCenter Workflow Manager нужно будет создать Workflow, в него добавить маппинг, создать связь между Workflow и Mapping и затем просто запустить Workflow. После завершения процесса данные из source-таблицы перенесутся в target-таблицу согласно маппингу. Для получения документации по S2T-Mapping можно использовать Metadata Manager. В нее могут включиться: Source, Target, связи между таблицами, источник данных, преобразования в Transformation (но внешние Python или SQL-скрипты не будут автоматически документированы, их нужно описывать вручную), частота обновления (через Workflow Manager), владелец данных (через Enterprise Data Catalog). 🟠Data Lineage осуществляется, например, через ранее упомянутый Metadata Manager. Сервис входит в состав PowerCenter и представляет собой веб-приложение для просмотра, анализа и управления метаданными, но может показать Data Lineage только в пределах PowerCenter, то есть по описанной ранее логике ETL: Source → Transformation → Target, а также связи, заданные вручную. При создании маппинга в PowerCenter Designer, метаданные сохраняются в репозитории. Metadata Manager анализирует эти метаданные и визуализирует их. Для Data Lineage за пределами PowerCenter используется отдельный продукт - Enterprise Data Catalog. Чтоб через него отследить происхождение данных в том числе и для PowerCenter - это уже отдельная история, но в двух словах для этого надо создать Connection для PowerCenter с указанием хоста, порта, логина и пароля. Затем добавить Scan Profile и выбрать объекты (маппинги, сессии, workflows). После этого запускается сканирование. В итоге получим полный путь от источника до цели с учетом преобразований и бизнес-атрибутов. 🟠Похожая ситуация и с Data Quality, для этого тоже нужен отдельный продукт - Informatica Data Quality, который подключается к PowerCenter, что позволит в рамках ETL-процессов обеспечить качество данных. Но простые проверки можно осуществлять и с помощью встроенных Transformation.