🔒Открыть пост
и посмотреть медиа
и посмотреть медиа
#вакансия #работа #удаленка #Scala #Middle #fulltime
Дата-Инженер Middle
Компания: Билайн
Локация: РФ
Занятость: полная
Вилка: до 170к в руки
Контакт: @iselivanov
Сейчас мы ищем дата инженера на направление взаиморасчёты с партнерами к нам в команду.
Мы занимаемся развитием направления оффлайн взаиморасчётов с партнёрами компании.
Партнерам компании необходимо рассчитывать вознаграждения за оказанные услуги, или проданные продукты компании.
Наша команда занимается как поддержкой текущего решения и так и занимается созданием нового продукта.
Новый продукт предусматривает функциональные возможности по организации взаиморасчётов и получение
Что нужно делать:
-Анализ требований к витринам данных (взаимодействие с владельцем продукта, BI-разработчиками, data scientist-ами)
-Поиск и исследование источников данных для последующей интеграции
-Оценка пригодности, качества исходных данных
-Разработка ETL процессов на Spark
-Оркестрация ETL процессов в Airflow
-Проектирование баз данных
-Создание конвейеров данных NiFi
Что мы ждем от тебя:
Любит работать в команде и умеет это делать
Проработал от 1 года и более в таких областях как: коммуникационные технологии, безопасность, маркетинг и продажи, финансы.
Знает SQL на высоком уровне (в т. ч. DDL, табличные выражения, оконные функции)
Работал с Hive, PostgreSQL
Умеет разрабатывать ETL процессы Spark на Scala (потоковая обработка как преимущество)
Пользовался AirFlow или другими оркестраторами – Oozie, Luigi, ну или cron
Может что-то написать на Python – в объеме чтобы пользоваться AirFlow или еще круче
Имеет опыт потоковой разработки конвейеров данных в NiFi или Flink
Интересуется Flink, пробовал применять его в проектах
Умеет проектировать базы данных (знает Data Vault 2.0 например)
Понимает принципы работы реляционных СУБД и HDFS
Имеет представление о колоночных и NoSQL СУБД
Понимает подходы к работе с качеством данных
Применяет системный подход к работе, думает о конечной бизнес-задаче, мыслит логически, уделяет внимание деталям
По всем вопросам жду в личку. Хорошего дня)