🔒Открыть пост
и посмотреть медиа
и посмотреть медиа
🔥Data engineer
AGIMA
Москва
Требования:
✅Уверенное знание MPP-баз данных — Greenplum (или аналогов: Redshift, Vertica).
✅Умение писать сложные SQL-запросы, понимание партиционирования, distribution keys, работы с большими объёмами данных. Знание PostgreSQL: индексы, транзакции, оконные функции, работа pg-драйверами.
✅Уверенное владение Python для задач обработки данных: pandas, psycopg2 / SQLAlchemy для работы с БД, boto3 для Object Storage, requests для работы с REST API. Умение писать читаемый, поддерживаемый код. ✅Опыт работы с Apache AirFlow: написание DAG-ов на Python, управление зависимостями, настройка расписаний, мониторинг и отладка. ✅Понимание принципов ETL. Опыт работы с Informatica (или аналогами: Talend, dbt, SSIS) будет плюсом. Умение реализовывать загрузку CSV и структурированных данных в БД. ✅Опыт работы с S3-совместимыми хранилищами (Yandex Object Storage, AWS S3 и пр.) — загрузка, хранение промежуточных и выходных данных.
Подробнее о вакансии🔎