Data analysis - DA SQL

Aranadata Catalog и Data Lineage Arenadata Catalog — система управления корпоративными данными, которая помогает организациям внедрять процессы Data Governance. Объединяет в себе каталог метаданных, бизнес-глоссарий, поиск, проверку качества данных, построение Data Lineage и другое. Прежде всего для осуществления всего этого нужно собрать метаданные из разных источников. Делает ADC это по большей части автоматически из разного рода СУБД, BI-систем, ETL-инструментов. В случае с СУБД для этого используется прямое подключение через ODBC, в случае остальных источников метаданных может использоваться API или парсинг. Собираемые метаданные могут представлять собой: ▶️Структуры данных (таблицы, колонки, типы данных, ограничения...) ▶️SQL-запросы, представления (views), хранимые процедуры... ▶️ETL-процессы (например, из Airflow) ▶️BI-отчеты 🟠Одной из ключевых особенностей Arenadata Catalog является построение Data Lineage - визуализации происхождения данных. Это позволяет отслеживать путь данных от источника до конечного потребителя. Строится Data Lineage на основе собранных ранее метаданных из разных источников. Например, данные из CRM загружаются в DWH и потом визуализируются с помощью Bi-инструмента. Основная логика построенного Data Lineage будет выглядеть так: CRM-система > файлы > > ETL-инструмент (Airflow) > > DWH (Oracle) > BI-отчет (Tableau) Описываемый процесс полезен как и просто для понимания того, откуда берутся данные, какой путь проходят и где их искать, так и для анализа влияния изменений (например, если на каком-либо этапе изменить данные, то как это повлияет на промежуточный и конечный результат). Еще это помогает быстрее находить ошибки в контексте Data Quality, оптимизировать процессы путем исключения лишних этапов и даже может помочь условным финансовым аудиторам. 🟠Еще с помощью ADC можно создавать и поддерживать единый корпоративный словарь терминов, связывая их с метаданными. Это помогает стандартизировать язык общения между бизнесом и ИТ. Пример того, как может выглядеть термин в глоссарии ADC: Термин: «Выручка» Определение: «Сумма продаж без НДСы». Синонимы: «Revenue», «Оборот». Связанные объекты: - Таблица: `dwh.sales` (`revenue`). - Отчёт: Tableau «Фин рез 2024». - ETL: Task «Revenue calc» в Airflow.