Scala Jobs Feed - IT

#вакансия Привет! 2ГИС ищет Middle+/Senior Scala-разработчика в команду рекламы Одним из направлений команды является работа с данными получаемыми от конечных продуктов. Храним данные в hdfs, обрабатываем с помощью выделенного spark кластера. Однако с ростом объема данных, а это несколько тысяч терабайт, мы начали упираться в производительность такой архитектуры. Хотим переосмыслить работу с данными и смотрим в сторону s3, spark on k8s и delta lake. Кроме этого хотим вложиться в автоматизацию ETL и инструментов анализа данных. Какие задачи предстоит решать? - Исследовать, придумывать и создавать новое хранилище. - Придумывать и разрабатывать инструменты аналитики данных. - Автоматизировать ETL pipelines. Технологии cats, cats-effect, fs2, http4s kafka, fs2-kafka, kafka-streams hdfs, spark, casssandra, postgresql Что ждём от кандидата? - Опыт разработки высоконагруженных бэкендов от 3 лет. - Опыт работы с hdfs, spark, Kafka, SQL и/или NoSQL базами данных. Предлагаем: - Удаленный формат работы из любой точки мира - Зарплатные ожидания от 300 тыс. рублей - Социальный пакет, возможность обучения Подробнее тут