Data analysis - DA SQL

Data Lake Data Lake (озеро данных) — это метод хранения данных, при котором информация сохраняется в исходном формате без предварительной обработки. В отличие от традиционных хранилищ данных (DWH), Data Lake может хранить в себе реляционные таблицы, файлы по типу CSV, JSON, XML, а также документы, изображения, аудио, видео и т.п. Обычно состоит из слоев: ▶️Слой приема данных. Данные просто загружаются в их первичном виде и в ранее упомянутых самых разных форматах. Загружаться данные могут пакетным способом (когда происходит периодическая загрузка), потоковым способом (непрерывное получение данных) и инкрементальным способом (когда фиксируются только изменения, но этот способ для Data Lake считается сложным). ▶️Слой хранения. Данные лежат без изменений. Из-за большого их объема и из-за разного формата для хранения обычно выбирают хранилища по типу Hadoop либо облачные хранилища. Такой способ хранения создает большие возможности для горизонтального масштабирования. ▶️Слой обработки. Хоть в концепции Data Lake и лежит принцип хранения данных без обработки, но этот принцип касается лишь их хранения. Данные, само собой, обрабатываются, но, в отличие от традиционного DWH, не "по умолчанию", а по мере необходимости. Обработка может в себя включать очистку данных, ETL/ELT процессы и аналитику. Вообще, это достаточно важный слой Data Lake, без которого собирать и хранить данные особого смысла не имеет. ▶️Использование. Готовая информация в виде отчетов/дашбордов используется по назначению. Перед этим данные еще могут каталогизироваться и защищаться. 🟠Если сравнивать DWH и Data Lake, то Data Lake может быть как и самостоятельным методом хранения данных, так и дополнять DWH, образуя таким способом гибридный подход. Во втором случае Data Lake может являться одним из слоев DWH. Сейчас считается, что использовать Data Lake обособленно - неоптимальное решение и уместно далеко не всегда. Главная проблема Data Lake - это сложность обеспечить контроль над загружаемыми данными. Из-за этого со временем появляется много лишних бесструктурных данных, которые только мешают находить и анализировать нужную информацию. Из минусов DWH можно выделить то, что они хуже масштабируются, не поддерживают так много форматов и нуждаются в сложном проектировании. Поэтому, объединив Data Lake и DWH, получаем гибридный подход - Data Lakehouse, основная цель которого - сохранить преимущества обоих методов. Такой подход решает проблемы управления данными, оптимизации, масштабирования, ограниченности форматов и надежности транзакций.