🔒Открыть пост
и посмотреть медиа
и посмотреть медиа
#вакансия
Привет!
2ГИС ищет Middle+/Senior Scala-разработчика в команду рекламы
Одним из направлений команды является работа с данными получаемыми от конечных продуктов. Храним данные в hdfs, обрабатываем с помощью выделенного spark кластера. Однако с ростом объема данных, а это несколько тысяч терабайт, мы начали упираться в производительность такой архитектуры.
Хотим переосмыслить работу с данными и смотрим в сторону s3, spark on k8s и delta lake. Кроме этого хотим вложиться в автоматизацию ETL и инструментов анализа данных.
Какие задачи предстоит решать?
- Исследовать, придумывать и создавать новое хранилище.
- Придумывать и разрабатывать инструменты аналитики данных.
- Автоматизировать ETL pipelines.
Технологии
cats, cats-effect, fs2, http4s
kafka, fs2-kafka, kafka-streams
hdfs, spark, casssandra, postgresql
Что ждём от кандидата?
- Опыт разработки высоконагруженных бэкендов от 3 лет.
- Опыт работы с hdfs, spark, Kafka, SQL и/или NoSQL базами данных.
Предлагаем:
- Удаленный формат работы из любой точки мира
- Зарплатные ожидания от 300 тыс. рублей
- Социальный пакет, возможность обучения
Подробнее тут