🔒Открыть пост
и посмотреть медиа
и посмотреть медиа
Apache Spark
Apache Spark - это открытый движок (фреймворк) для распределенной обработки больших данных.
Он нужен для того, чтобы принимать Python- и SQL-скрипты (также работает и со Scala, Java, R), разбивать эти скрипты на множество мелких задач и распределять их по узлам кластера для параллельного выполнения.
Иными словами, Spark приходит на помощь, когда данных слишком уж много. Они не помещаются не то что в excel, но и даже памяти целого компьютера может быть мало. И вопрос не только во вместимости, а еще и в том, что python- или sql-запрос к этим данным будет обрабатываться очень долгое время.
🟠Как вообще работать с Apache Spark?
1️⃣Самое первое, очевидно, это нужно подключиться к данным. Важно понимать, что в самом Spark данные не хранятся (по крайней мере постоянно). Они могут храниться во многих источниках, в том числе и в привычных нам БД.
Подключиться к той же самой БД можно через фреймворк для Python - PySpark, прописав параметры подключения.
2️⃣Затем уже непосредственно пишем скрипты (условно на Python) и передаваем их в Spark для дальнейшей обработки. Для этого нужен упомянутый ранее PySpark - любой код, написанный с помощью этого фреймворка, запускает вычислительные мощности Spark.
Что касается SQL, то с ним можно работать как и с помощью PySpark, так и с помощью Spark Thrift Server:
▶️Если использовать PySpark, то SQL-скрипты можно писать внутри Python-кода, используя специальные модули (spark.sql)
▶️Если использовать Spark Thrift Server, то это даст нам возможность писать чистый SQL код без использования Python. Но для этого придется установить сторонний sql-клиент (например DBeaver), и, используя Spark Thrift Server, связать sql-клиент с БД, где хранятся данные. В этом случае выполнение sql-запроса будет так же запускать вычислительные мощности Spark.
3️⃣В конце, после выполнения нужных скриптов, результатами можно распоряжаться как и обычно: экспорт в файлы, загрузка в бд, визуализация через BI-инструменты...
🟠В чем принцип работы Apache Spark?
Для того, чтоб разобраться чуть подробнее с тем, что у Spark под капотом, советую почитать про Hadoop, так как их часто сравнивают.
Если кратко, то Hadoop состоит из двух основных частей: HDFS (система для хранения больших данных) и MapReduce (способ обработки больших данных).
Spark же часто позиционируется как более современная замена MapReduce. В чем же основные отличия?
▶️MapReduce работает медленнее Spark, т.к. постоянно записывает данные на диск, тогда как Spark обрабатывает все в памяти
▶️Код также удобнее писать. В случае с MapReduce, любой код в конечном итоге преобразовывается в специальное задание для MapReduce, тогда как Spark из-за своих фреймворков понимает код в чистом виде.
▶️Spark имеет множество встроенных возможностей, тогда как для MapReduce нужны сторонние инструменты (например, нужен Hive, чтобы писать на SQL)