🔒Открыть пост
и посмотреть медиа
и посмотреть медиа
Что такое Zero-ETL и Reverse ETL
Классические ETL-процессы сначала извлекают данные из источника, затем они преобразовываются и загружаются уже в целевые хранилища. В случае с Zero-ETL и Reverse ETL всё немного иначе.
▶️Zero-ETL - это подход, при котором данные из одной системы-источника становятся доступны в хранилище без классического процесса извлечения-трансформации-загрузки, который нужно строить и поддерживать вручную.
Работает это следующим образом. Вместо построения отдельного ETL-процесса делается снимок данных в БД на определенный момент времени и переносится уже в целевое хранилище. Актуальность же этого снимка в хранилище поддерживается с помощью журнала транзакций. То есть любое изменение в источнике сразу же отражается в целевом хранилище с помощью Change Data Capture.
То есть по сути это автоматически обновляемая репликация, в которой отсутствует этап трансформации данных. Показатели придется рассчитывать уже в самом хранилище. Нужно это всё прежде всего для того, чтобы быстро перемещать данные из источника в хранилище, чтобы минимизировать задержку обновлений и чтобы избавиться от необходимости написания и запуска классического ETL-скрипта.
▶️Reverse ETL - это движение данных в обратном направлении: не из источника в хранилище, а из хранилища обратно в операционные системы.
Логика работы обычно следующая. Reverse ETL берёт уже посчитанные в DWH метрики и отправляет их обратно в операционные системы, которыми пользуется бизнес. Данные могут передаваться разными методами, в т.ч. SQL-запросами. Для переноса также настраиваются и мэппинги, чтобы поля из DWH соответствовали полям в целевых системах. И после переноса данные могут постоянно обновляться при необходимости.
Reverse ETL можно назвать дополнением обычного ETL. Ведь перед тем, как посчитанные метрики вернуть обратно в системы-источники, они должны сначала попасть в DWH и там трансформироваться. Нужно это всё для того, чтобы другие команды, которые работают с CRM, ERP и подобными системами получали готовые аналитические показатели без необходимости обращаться напрямую к хранилищу.