CHOICEIT

Streaming Data Engineer

Details

Work format

Remote, Hybrid, Onsite

A cover letter for this job

An email or a Telegram message to the recruiter

About the role

One of the largest companies developing technological solutions for the entertainment industry is looking for a strong Streaming Data Engineer to develop a modern data platform and high-load data processing systems.

Responsibilities

Design, develop, and maintain streaming pipelines on Kafka and CDC with guaranteed data delivery
Ensure real-time data processing (in fractions of a second)
Manage partitioning, keys, delivery guarantees, and schema evolution
Diagnose and resolve issues with long-running streaming jobs (hot keys, partition skew, state growth, checkpoints)
Integrate data sources via CDC (Debezium) and ensure reliable operation with schema changes
Develop fault-tolerant solutions considering timeouts, retries, backpressure, and circuit breakers
Participate in the development of the data platform architecture and propose technical solutions to improve reliability and performance

Requirements

Experience with Kafka in production: high-load topics, choosing the number of partitions and keys, rebalance, commit offsets, at-least-once and idempotent processing
Practical experience with CDC (Debezium): understanding WAL/binlog, change events, snapshot, and streaming phases
Experience with Schema Registry and managing schema compatibility (backward/forward)
Solid knowledge of SQL (aggregations, JOIN, NULL behavior)
Experience developing with Java in production: multithreading, CompletableFuture, concurrent collections
Understanding of distributed systems principles and fault tolerance
Independence, responsibility for the full cycle (from design to operation), and the ability to clearly explain technical solutions

Nice to have

Experience with Apache Flink (event-time, watermarks, checkpoints/savepoints, RocksDB state backend)
Experience with Spark Streaming or other streaming engines
Knowledge of probabilistic data structures (HyperLogLog and similar)
Experience with high-load systems (thousands of events per second)

Benefits

Work with highload products, terabytes of data, and an audience of 100M+ users worldwide
Flexible work format: remote, hybrid, or from the office
Extended relocation package, including relocation for the specialist and their family members
Voluntary medical insurance with dental coverage after the probation period
Compensation for sports, English language courses, and psychologist sessions
Compensation for specialized training and the opportunity to share expertise within the team
Corporate library, team events, masterclasses, and other internal activities
High level of autonomy and the opportunity to directly influence technical decisions and the development of the data platform

Одна из крупнейших компаний, разрабатывающих технологические решения для entertainment-индустрии, находится в поисках сильного Streaming Data Engineer для развития современной data-платформы и высоконагруженных систем обработки данных.

Обязанности

Проектировать, разрабатывать и поддерживать потоковые пайплайны на Kafka и CDC с гарантированной доставкой данных
Обеспечивать обработку данных в режиме реального времени (за доли секунды)
Управлять партиционированием, ключами, гарантиями доставки и эволюцией схем
Диагностировать и устранять проблемы долгоживущих стриминговых джобов (hot keys, перекос партиций, рост состояния, checkpoints)
Интегрировать источники данных через CDC (Debezium) и обеспечивать надёжную работу при изменениях схем
Разрабатывать отказоустойчивые решения с учётом таймаутов, ретраев, backpressure и circuit breakers
Участвовать в развитии архитектуры data-платформы и предлагать технические решения для повышения надёжности и производительности

Требования

Опыт работы с Kafka в production: нагруженные топики, выбор числа партиций и ключей, rebalance, commit оффсетов, at-least-once и идемпотентная обработка
Практический опыт CDC (Debezium): понимание WAL/binlog, change-событий, снапшота и стриминговой фазы
Опыт работы со Schema Registry и управлением совместимостью схем (backward/forward)
Уверенное знание SQL (агрегации, JOIN, поведение NULL)
Опыт разработки на Java в production: многопоточность, CompletableFuture, конкурентные коллекции
Понимание принципов распределённых систем и отказоустойчивости
Самостоятельность, ответственность за полный цикл (от проектирования до эксплуатации) и умение чётко объяснять технические решения

Будет преимуществом

Опыт с Apache Flink (event-time, watermarks, checkpoints/savepoints, RocksDB state backend)
Опыт со Spark Streaming или другими стриминговыми движками
Знание вероятностных структур данных (HyperLogLog и аналоги)
Опыт работы с высоконагруженными системами (тысячи событий в секунду)

Условия

Работа с highload-продуктами, терабайтами данных и аудиторией 100M+ пользователей по всему миру
Гибкий формат работы: удалённо, гибридно или из офиса
Расширенный релокационный пакет, включающий релокацию специалиста и членов его семьи
ДМС со стоматологией после испытательного срока
Компенсация спорта, английского языка и сессий с психологом
Компенсация профильного обучения и возможность обмениваться экспертизой внутри команды
Корпоративная библиотека, командные мероприятия, мастер-классы и другие внутренние активности
Высокий уровень самостоятельности и возможность напрямую влиять на технические решения и развитие data-платформы.