🔒Открыть пост
и посмотреть медиа
и посмотреть медиа
Слои данных в DWH
В архитектуре хранилищ данных (Data Warehouse) обычно выделяют несколько логических слоев, каждый из которых выполняет свою функцию в процессе обработки и хранения информации. Вообще существует много разных точек зрения на то, что из себя должны представлять слои DWH и сколько их должно быть. Раскрою одну из типовых:
1️⃣Staging.
Это начальный уровень в архитектуре хранилища данных, куда поступает первичная информация из разнообразных источников.
Проще говоря, это сырые данные, которые могут быть плохо адаптированы под общую логику хранилища и даже содержать разные ошибки. Загружаются они сюда из разных источников как есть, без изменений.
2️⃣ODS (Operational Data Store).
Хранилище для операционных данных. На этом этапе данные уже адаптируются под общую логику хранилища, исправляются ошибки, данные приобретают единый формат, заполняются недопустимые пустоты и т.п. Важно то, что это - именно текущие данные, а не исторические.
3️⃣DDS (Detail Data Store).
Хранилище для детальных исторических данных. Это, можно сказать, ключевой слой в хранилище, здесь данные отражены в наиболее полной мере. Загружаясь из ODS, данные разбиваются на таблицы. Именно здесь (как правило) применяются различные схемы DWH (подробнее про схемы писал здесь и здесь).
4️⃣Data Marts.
Слой витрин данных, где информация структурирована и готова к использованию бизнес-аналитиками, делается так называемый срез данных из хранилища. Подробнее об этом писал здесь.
5️⃣REP (Reporting), или Aggregations.
Это полностью готовые данные, представленные в удобном для визуализации и анализа виде, которые используются уже для понимания итогов.
🟠Можно также выделить и дополнительные слои:
▶️Sandbox (Песочница).
Для экспериментального анализа данных. Грубо говоря, изолированный слой-черновик, где можно делать что угодно без риска сломать основное хранилище.
▶️Data Lake.
Слой с необработанными первичными данными, такой же как и Staging. Но от Staging всё же отличается:
- Staging хранит данные временно, а Data Lake - постоянно
- Staging хранит данные, которые поступят в хранилище дальше, а Data Lake хранит в том числе и постороннюю информацию
- Staging хранит только структурированные (иногда полуструктурированные) данные, а Data Lake - что угодно (JSON, CSV, изображения, видео и т.п.)
- Основное назначение Staging - ETL-процессы в слой ODS; основное назначение Data Lake - разные данные для аналитики
▶️Semantic Layer (Семантический слой)
Слой, предоставляющий бизнес-термины вместо технических названий таблиц и полей. Позволяет работать с данными, используя привычные бизнес-понятия вместо сложных SQL-запросов. Например, не sales, а "Продажи", не SUM(amount) / COUNT(order_id), а "Средний чек" и т.п.