🔒Открыть пост
и посмотреть медиа
и посмотреть медиа
Пересчет (Processing) OLAP-кубов
Пересчет OLAP-куба - это процесс загрузки новых данных из источника (как правило - из хранилища данных) в саму структуру куба.
Для дальнейшего обсуждения нужно разобраться с основными понятиями, которые связаны с OLAP-кубами:
▶️Партиции. Это разделение куба на части (например, данные за прошлый год хранятся в одном месте, за этот - в другом).
▶️Измерения. Показывают, что именно считается в кубе, например, товары: яблоки, груши, арбузы и т.д. Иными словами, это нечисловые данные, по которым можно осуществлять группировку. Часто измерения бывают иерархическими.
▶️Факты. Показывают, в отличие от измерений, именно числовые данные (например, 5 яблок, 10 груш и т.д.). Хранятся в таблице фактов и связываются с измерениями по id (принцип напоминает логику построения архитектуры реляционных БД)
▶️Меры. Расчётные выражения (формулы), которые определяют, как нужно агрегировать данные. Они не хранят готовые значения, а выполняются непосредственно при запросе.
▶️Агрегаты. Грубо говоря, это те же самые меры, только уже предварительно посчитанные и сохранённые.
▶️Индексы. Используются для ускорения выполняемых OLAP-запросов, например, для расчёта средних значений.
🟠Существует несколько основных способов пересчёта куба (или отдельных его элементов):
▶️Process Full. Подразумевает под собой полную перестройку куба (или измерения и партиции), а именно уничтожение текущего и постройки вместо него нового с нуля. Обычно используется такой способ, когда структура куба изменилась (добавились новые измерения, меры), когда куб развёртывается впервые или когда произошли серьёзные изменения в исходных данных.
Это крайне долгий и ресурсоемкий процесс, но который зато обеспечивает качество и актуальность данных.
▶️Process Incremental. Добавляет только новые или изменённые записи в существующие данные без полной перезагрузки. Также может для новых добавленных данных обновить агрегаты. Используется в основном для регулярного дополнения существующих данных новыми (например, раз в неделю)
▶️Process Data. Загружает только сырые данные в таблицу фактов или измерений. Не пересчитывает агрегаты и индексы (после этого требуется Process Index). Главное отличие от упомянутого ранее Process Incremental - это перезагрузка всех данных в целевых таблицах, а не только тех, которые, условно, добавились только недавно.
▶️Process Index. Перестраивает только индексы и агрегаты без загрузки данных. Применяется, как правило, для ускорения выполнения запросов и используется после process data (для актуализации агрегатов)
▶️Process Update. Обновляет измерения. Полезно в случаях, когда, например, изменились справочники.
▶️Process Clear - полная очистка (будь то куб или партиция