develop and optimize ETL/ELT pipelines for big data processing
configure and administer Hadoop/Spark infrastructure (HDFS, YARN, Hive, HBase)
optimize distributed computations and queries
work with streaming data (Kafka, Spark Streaming, RabbitMQ)
participate in the design and scaling of data architecture
automate processes using DevOps practices (Docker, CI/CD)
Requirements
Work experience: 3–6 years
higher (incomplete higher) education
experience with Java/Scala and Big Data frameworks (Apache Spark, Hadoop)
deep knowledge of the Hadoop ecosystem (YARN, HDFS, Hive, HBase, Parquet)
experience optimizing the performance of distributed systems
experience with stream processing (Kafka, Spark Streaming)
skills in working with SQL/NoSQL (PostgreSQL, MS SQL, MongoDB)
Nice to have
experience with PySpark, Flink, Airflow
knowledge of Elasticsearch, ClickHouse, Vertica
skills in configuring clusters and infrastructure
Benefits
Full-time employment
Schedule: 5/2
Work format: remote or hybrid
Медиалогия
Data Engineer (Hadoop, Scala)
Опыт работы: 3–6 лет
Полная занятость
График: 5/2
Формат работы: удалённо или гибрид
☑️ Чем предстоит заниматься
-разработка и оптимизация ETL/ELT-конвейеров для обработки больших данных
-настройка и администрирование Hadoop/Spark-инфраструктуры (HDFS, YARN, Hive, HBase)
-оптимизация распределенных вычислений и запросов
-работа с потоковыми данными (Kafka, Spark Streaming, RabbitMQ)
-участие в проектировании и масштабировании архитектуры данных
-автоматизация процессов с использованием DevOps-практик (Docker, CI/CD)
☑️ Наши пожелания к кандидатам
-высшее (неоконченное высшее) образование
-опыт работы с Java/Scala и Big Data-фреймворками (Apache Spark, Hadoop)
-глубокие знания Hadoop-экосистемы (YARN, HDFS, Hive, HBase, Parquet)
-опыт оптимизации производительности распределенных систем
-работа с потоковой обработкой (Kafka, Spark Streaming)
-навыки работы с SQL/NoSQL (PostgreSQL, MS SQL, MongoDB)
-Будет плюсом:
-опыт с PySpark, Flink, Airflow
-знание Elasticsearch, ClickHouse, Vertica
-навыки настройки кластеров и инфраструктуры
