🔒Открыть пост
и посмотреть медиа
и посмотреть медиа
Как автоматизировать загрузку файлов в БД с помощью Python
Иногда встречаются такие ситуации, когда необходимо загружать большое количество файлов в базу данных для их дальнейшего анализа. Например, у нас есть 1000 небольших excel-файлов (не факт, что с одинаковыми столбцами), которые надо загрузить в oracle db.
Как ни удивительно, делается это достаточно просто. Сначала пройдемся по папке с файлами циклом и объединим их в 1 датафрейм:
import pandas as pd
import glob
all_data = pd.DataFrame()
for file in glob.glob(r"ПУТЬ К ПАПКЕ\*.xlsx"):
df = pd.read_excel(file)
all_data = pd.concat([all_data, df], ignore_index=True)
После этого с помощью sqlalchemy подключимся к базе данных:
from sqlalchemy import create_engine
conn = "oracle+cx_oracle://user:password@localhost:port/?service_name=name&mode=mode"
engine = create_engine(conn)
Подробнее про подключение было здесь.
Далее обработаем данные, а именно уберем все пропуски и для универсальности преобразуем всё в строки, чтобы избежать конфликта форматов при вставке:
for col in all_data.columns:
all_data[col] = all_data[col].astype(str)
all_data[col] = all_data[col].replace('nan', None)
В конце создадим новую таблицу и вставим ранее объединенный датафрейм в бд:
all_data.to_sql(
name='table_name',
con=engine,
if_exists='append',
index=False
)
На выходе получим таблицу в базе данных, которая будет содержать в себе все уникальные столбцы, которые встретились в этих файлах.