🔒Открыть пост
и посмотреть медиа
и посмотреть медиа
Обработка больших данных в Python - Dask
Dask - библиотека в Python, которая позволяет работать с большими данными, когда обычные инструменты (Pandas, NumPy) тормозят или когда они не могут обработать большой объем данных из-за ограничений оперативной памяти.
Dask разбивает большие массивы/датафреймы на части, которые обрабатываются параллельно. Также совместима с Pandas, NumPy, Scikit-learn и т.п.
Целесообразно использовать такую библиотеку, если объем данных превышает 10 ГБ (порог может быть ниже и выше в зависимости от RAM).
🟠Установка через pip:
pip install dask
🟠Основные функции:
▶️Dask Arrays
import dask.array as da
x = da.random.random((100000, 100000), chunks=(1000, 1000))
y = x.mean().compute()
Здесь был создан большой массив из случайных чисел (100 000 х 100 000), который был разбит на блоки (1000 х 1000) и по которому было посчитано среднее значение. Вывести его через print не удастся (в отличие, например, от меньшего массива в Numpy) из-за ограничений памяти, поэтому с ним можно работать только по части метаинформации, либо по части результатов вычислений.
▶️Dask DataFrames
import dask.dataframe as dd
df = dd.read_csv(r"ПУТЬ\file.csv", encoding="utf-8", sep=';')
result = df.groupby('col_name').sum().compute()
print (result)
Подключение к большому CSV-файлу (по аналогии с Pandas) и группировка значений (по принципу group by в sql).
Но по большому счету что массивы, что CSV-файлы на несколько десятков ГБ особо не встречаются. На мой взгляд, всю свою полезность Dask раскрывает в связке с базами данных (к которым можно подключиться, например, через cx_oracle)
🟠Вообще, функционал Dask в целом напоминает функционал Pandas и Numpy. Но у него есть 2 ключевые особенности, связанные именно с его спецификой:
▶️Наличие chunks - блоков, которые обрабатываются параллельно. Это ускоряет вычисления и снижает нагрузку на RAM. Эти блоки можно указывать как и явно (через кол-во или размер), так и по умолчанию через auto.
▶️Необходимость явно вызывать вычисления при помощи .compute(). Всё, написанное до .compute(), только лишь задается, а не фактически вычисляется. Сделано это для оптимизации при работе с большими данными