Старший инженер данных (Инфраструктура данных в реальном времени)

Старший инженер данных (м/ж/д) | Гамбург (гибрид)

Более 2 млрд. ежедневных запросов. ТБ потоковых событий данных. Системы принятия решений с задержкой менее 100 мс в продакшене. Если вы хотите создавать инфраструктуру данных, которая не просто хранит информацию, а обеспечивает принятие решений на основе машинного обучения в реальном времени в глобальном масштабе, то это та среда. Вы присоединитесь к масштабной AdTech-платформе, где каждое событие обрабатывается и преобразуется в сигналы, которые в реальном времени напрямую влияют на выбор рекламы, ценообразование и доход. Это не традиционная роль инженера хранилища данных — это распределенная инженерия данных в реальном времени, лежащая в основе системы на основе ML, обслуживающей сотни миллионов пользователей.

Что вы будете курировать

• Хранилище признаков в реальном времени на базе Apache Flink, обеспечивающее принятие решений ML
• Потоковые конвейеры, обрабатывающие ТБ событийных данных ежедневно
• Комплексные фреймворки для обеспечения качества данных, валидации и наблюдаемости
• Каналы передачи данных с низкой задержкой (<100 мс p99) для систем выбора и ценообразования рекламы
• Тесное сотрудничество между командами Data Science, Backend и Infrastructure

Что мы ищем

У вас должен быть значительный опыт создания и масштабирования инфраструктуры данных или потоковых систем в продакшене в значительных масштабах. Это включает работу с распределенными системами, событийно-ориентированными архитектурами и конвейерами данных с высокой пропускной способностью. Важны сильные навыки бэкенд-разработки (особенно Java), а также практический опыт работы с Kafka, Flink или аналогичными потоковыми технологиями. Вы должны быть готовы тесно сотрудничать с командами Data Science и понимать, как производственные системы данных напрямую способствуют повышению производительности ML. Не менее важен настрой — вы не просто перемещаете данные между системами. Вы строите фундамент, который обеспечивает интеллектуальные возможности в реальном времени на всей платформе.

Технологический стек Kafka, Apache Flink, Go, Java, AWS (S3, DynamoDB), Redis, Druid, Kubernetes, Terraform, Airflow, Prometheus, Grafana, ELK

Логистика

• Гамбург (Гибрид – 3 дня в офисе).
• Предоставляется поддержка по релокации и визе для иностранных кандидатов.
• Диапазон заработной платы — €85-€100 тыс. в год