🔒Открыть пост
и посмотреть медиа
и посмотреть медиа
Обзор Hadoop
Hadoop — это платформа, предназначенная для хранения и обработки больших объемов данных.
Hadoop основан на двух ключевых компонентах: HDFS (Hadoop Distributed File System) для хранения данных и MapReduce для их обработки.
▶️Принцип работы HDFS:
HDFS — это распределенная файловая система, которая позволяет хранить огромные объемы данных на множестве серверов.
Сначала данные поступают в систему.
Потом данные разделяются. Например, файл на 1 ТБ может быть разбит на много блоков по 128 МБ. Каждый блок хранится на отдельном сервере.
При этом каждый блок данных копируется на несколько серверов. Это нужно для надежности: если один сервер выйдет из строя, данные можно будет восстановить из других копий.
В Hadoop также еще есть и NameNode — это "главный сервер", который знает, где находятся все блоки данных. Он хранит метаданные (информацию о файлах и их расположении).
DataNode — это, в свою очередь, серверы, которые хранят фактические данные (блоки файлов).
▶️Принцип работы MapReduce:
MapReduce — это способ обработки больших объемов данных (многими считается устаревшим) на множестве серверов. Он делит задачу на две части: Map и Reduce.
Например, мы написали примитивный запрос к данным в Hadoop: хотим посчитать, сколько покупок сделал клиент в нашем магазине за всё время.
Сначала считаются данные в каждом из серверов: условно, один сервер хранит информацию о 5 покупках клиента, другой - о 3 покупках, третий - о 10 и т.д.
Затем данные суммируются со всех серверов и даётся результат: 5 + 3 + 10 = 18.
Стоит еще упомянуть, что данные при MapReduce обрабатываются при помощи так называемой пакетной обработки - то есть параллельно. В теории, данные из одного 128 МБ сервера обработаются примерно за то же время, за сколько и данные из тысячи 128 МБ серверов.
🟠С интерфейсом платформы нельзя взаимодействовать напрямую привычным нам, аналитикам, образом, как, например, в ClickHouse через "ClickHouse-SQL" (про что писал ранее в постах). По сути это просто хранилище, набор серверов, где просто хранятся данные и вычисляются с помощью MapReduce. Для работы с ними через, условно, SQL, требуются отдельные сервисы в экосистеме Apache (например, Hive со своим диалектом SQL).
🟠Зачем нужен Hadoop? В каких случаях стоит отказаться от обычных реляционных баз данных?
1️⃣ Большие объемы данных, с которыми не справятся обычные реляционки (не только с точки зрения хранения, но еще и с точки зрения обработки методом MapReduce). Верно и обратное: если данных мало (например, 500 ГБ), эффективнее тогда будет использовать обычную SQL СУБД.
2️⃣ Hadoop может работать со структурированными, полуструктурированными и неструктурированными данными. Но если данные только структурированные, то SQL СУБД будет лучше.
3️⃣ Если нужна низкая задержка между отправкой и фиксацией данных в БД, а также критически важна точность транзакций, то тут лучше использовать SQL СУБД.
🟠Почему тогда не использовать упомянутый выше ClickHouse? Ведь оба решения предназначены для биг дата, но при этом ClickHouse еще и быстрее.
Дело в том, что у них немного разные цели.
Основное различие между ними в том, что ClickHouse больше подходит для быстрой аналитики больших структурированных данных.
Hadoop выступает больше как место хранения еще бóльших данных (причем не только структурированных, как было сказано ранее) + Hadoop предварительно обрабатывает данные, тогда как ClickHouse уже использует всё готовое.
Исходя из всего этого, Hadoop лучше справляется с ETL задачами. Вдобавок, в рамках ETL можно эффективно использовать разные инструменты из экосистемы: Apache Spark, Apache Hive, Apache Pig...
Ну и еще Hadoop из-за своей "многосерверной" архитектуры больше ориентирован на масштабируемость, чем ClickHouse.