🔒Открыть пост
и посмотреть медиа
и посмотреть медиа
Aranadata Catalog и Data Lineage
Arenadata Catalog — система управления корпоративными данными, которая помогает организациям внедрять процессы Data Governance. Объединяет в себе каталог метаданных, бизнес-глоссарий, поиск, проверку качества данных, построение Data Lineage и другое.
Прежде всего для осуществления всего этого нужно собрать метаданные из разных источников. Делает ADC это по большей части автоматически из разного рода СУБД, BI-систем, ETL-инструментов. В случае с СУБД для этого используется прямое подключение через ODBC, в случае остальных источников метаданных может использоваться API или парсинг.
Собираемые метаданные могут представлять собой:
▶️Структуры данных (таблицы, колонки, типы данных, ограничения...)
▶️SQL-запросы, представления (views), хранимые процедуры...
▶️ETL-процессы (например, из Airflow)
▶️BI-отчеты
🟠Одной из ключевых особенностей Arenadata Catalog является построение Data Lineage - визуализации происхождения данных. Это позволяет отслеживать путь данных от источника до конечного потребителя. Строится Data Lineage на основе собранных ранее метаданных из разных источников.
Например, данные из CRM загружаются в DWH и потом визуализируются с помощью Bi-инструмента. Основная логика построенного Data Lineage будет выглядеть так:
CRM-система > файлы >
> ETL-инструмент (Airflow) >
> DWH (Oracle) > BI-отчет (Tableau)
Описываемый процесс полезен как и просто для понимания того, откуда берутся данные, какой путь проходят и где их искать, так и для анализа влияния изменений (например, если на каком-либо этапе изменить данные, то как это повлияет на промежуточный и конечный результат). Еще это помогает быстрее находить ошибки в контексте Data Quality, оптимизировать процессы путем исключения лишних этапов и даже может помочь условным финансовым аудиторам.
🟠Еще с помощью ADC можно создавать и поддерживать единый корпоративный словарь терминов, связывая их с метаданными. Это помогает стандартизировать язык общения между бизнесом и ИТ. Пример того, как может выглядеть термин в глоссарии ADC:
Термин: «Выручка»
Определение: «Сумма продаж без НДСы».
Синонимы: «Revenue», «Оборот».
Связанные объекты:
- Таблица: `dwh.sales` (`revenue`).
- Отчёт: Tableau «Фин рез 2024».
- ETL: Task «Revenue calc» в Airflow.