🔒Открыть пост
и посмотреть медиа
и посмотреть медиа
Обзор Apache Hive
Теперь после того, как был разобран Hadoop, можно перейти к разбору Apache Hive, т.к. вещи это взаимосвязанные - Apache Hive работает на базе Hadoop.
Apache Hive — это система управления базами данных (СУБД). Она предоставляет SQL-подобный интерфейс, называемый HiveQL, который позволяет пользователям работать с данными, которые хранятся в Hadoop.
Само собой, при этом сохраняются все принципы: данные хранятся в HDFS и обрабатываются с помощью MapReduce.
🟠Что происходит, когда пользователь запускает SQL-скрипт в Hive?
Он "трансформируется" в своего рода задание для MapReduce (и не только). MapReduce, в свою очередь, в соответствии с полученным заданием, обрабатывает данные, которые хранятся на серверах в Hadoop. Ну и в конце всего этого пользователь получает результат.
🟠Некоторые отличия HiveQL от SQL (помимо уже вышеупомянутых):
▶️HiveQL поддерживает стандартные типы данных (как в SQL), а также сложные типы:
массивы (ARRAY) - список значений одного типа;
структуры (STRUCT) - группа полей разных типов;
ассоциативные массивы (MAP) - пары ключ-значение;
▶️В Hive более урезанная поддержка ACID-транзакций, а также хуже и более "костыльно" работают UPDATE и DELETE.
▶️Т.к. Hive оптимизирован для пакетной обработки данных, запросы могут выполняться медленнее.
▶️Hive поддерживает множество форматов файлов, включая CSV, JSON, ORC, Parquet и т.д. Это позволяет работать с полуструктурированными и неструктурированными данными. Помимо этого, такие форматы, как ORC и Parquet, обеспечивают сжатие данных и ускорение выполнения запросов.
▶️HiveQL поддерживает особые функции: можно написать код, например, на Java или Python, и интегрировать его в SQL-скрипт.