Data Engineer в X5 Tech для разработки потоковых данных на Apache Flink. Задачи включают проектирование архитектуры потоков и разработку Java-приложений для Big Data.
Задачи:
- Разработка шаблонов потоков данных на основе Flink DataStream
- Реализация архитектуры потоков данных
- Написание и доработка Java приложений для Big Data
Требования:
- Java Core: глубокое понимание ООП, многопоточности, коллекций, исключений и generics
- Spring Boot: опыт разработки микросервисов и REST API, включая Spring Data, Security, Actuator и AOP
- Apache Flink: опыт потоковой обработки, включая DataStream API, state management, checkpoints и Flink CDC
- Дата-инженерия: работа с ETL/ELT, потоковыми и batch-процессами; инструменты Airflow и Temporal
- Проектирование фреймворков: понимание принципов проектирования фреймворков и библиотек
- Большие данные: знание принципов работы с большими данными (Spark, Dask, pandas — плюс)
- Базы данных: опыт работы с PostgreSQL, ClickHouse; знание форматов Iceberg и Paimon
- CI/CD и DevOps: навыки работы с CI/CD, Docker, Kubernetes (плюс)
- Качество кода: умение писать unit и integration тесты, следить за качеством и поддерживаемостью кода
- Опыт программирования на Python: скрипты, микросервисы, приложения
Условия:
- Формат работы: удалённо или гибрид или офис
- Полная занятость
- График: 5/2
Навыки:
- Java
- Spring Boot
- Apache Flink
- ETL
- ELT
- Airflow
- Temporal
- Spark
- Dask
- pandas
- PostgreSQL
- ClickHouse
- Iceberg
- Paimon
- CI/CD
- Docker
- Kubernetes
- Python
