🔒Открыть пост
и посмотреть медиа
и посмотреть медиа
Что такое CDC (Change Data Capture)
CDC - это процесс отслеживания изменений в базе данных и передачи этих изменений в целевую систему (например, в DWH).
Условно, у нас есть таблица в DDS слое (подробнее про слои), изменения в которой надо отслеживать (то есть отслеживать любые INSERT/ UPDATE/ DELETE). И информация о каждом таком изменении в виде отдельной записи поступает в специальную "техническую" таблицу, которая может находиться на слое Staging.
И еще важно понимать, что основной принцип работы CDC — регистрация только изменившихся элементов, что снижает нагрузку на инфраструктуру и ускоряет процессы передачи информации.
🟠Зачем это нужно?
В первую очередь, для скорости. Можно не ждать полноценного обновления данных в БД раз в неделю, а наблюдать за каждым изменением в режиме реального времени.
Еще бывает полезно использовать CDC для наблюдения за полнотой данных. Например, классический ETL передает данные из источника в источник ежемесячно, и такими, какими они были по состоянию, условно, на 23.59 31-ого числа. Но посмотреть за тем, как менялись эти данные на уровне логов (кто что добавлял/изменял/удалял до того момента, как передать в ETL) можно с помощью CDC.
С помощью CDC можно еще настроить миграцию данных из одной системы в другую. К примеру, при добавлении новой записи в БД эта запись дополнительно еще отражается в виде события (JSON), которое потом преобразуется для нужд уже другой БД.
Ну и также это всё помогает для восстановления после сбоев, мониторинга активности, аномалий и т.п.
🟠Как это реализуется?
▶️Через встроенный в БД журнал транзакций. Например, SQL Server или Oracle предоставляют такие решения, которые позволяют отслеживать изменения через транзакционные логи. Этот метод высокоэффективен, так как он минимизирует вмешательство в операционные процессы.
▶️С помощью специально написанных триггеров в SQL (подробнее про триггеры). То есть мы сами пишем, например, что при любом изменении таблицы A нужно записывать эти изменения в таблицу Б. Метод подходит для небольших БД, т.к. вызывает дополнительную нагрузку на систему.
▶️Через сравнение состояний. То есть сравниваются 2 версии 1 таблицы в разные моменты времени, и если есть какие-то различия, то они записываются как изменения. Очевидно, что такой подход фиксирует далеко не все изменения, но зато он довольно прост в реализации.
▶️С помощью специальных сторонних инструментов, таких как Debezium, Talend, Informatica или Apache Kafka.