Data Engineer - Real-time

The Wow Эта роль находится в самом сердце нашей платформы данных реального времени, предоставляя командам возможность создавать, развертывать и масштабировать продукты данных, которые лежат в основе критически важных бизнес-решений и клиентского опыта. Вы будете проектировать, разрабатывать и эксплуатировать основные возможности платформы, которые обеспечивают работу конвейеров потоковой передачи данных, приложений, управляемых событиями, и продуктов данных с самообслуживанием. Работая на стыке разработки программного обеспечения и инженерии данных, вы будете создавать масштабируемые фреймворки, инструменты и среду разработки, которые позволят нашим командам быстро и уверенно предоставлять надежные решения. Краткий обзор того, чем вы будете заниматься: Разрабатывайте и создавайте масштабируемые, повторно используемые фреймворки и службы для приема, преобразования и обработки данных. Разрабатывайте и поддерживайте основные возможности платформы, такие как инструменты оркестрации, проверки качества данных и управления схемами. Развивайте архитектуру платформы, включая новые технологии, повышающие масштабируемость, надежность и экономическую эффективность. Сотрудничайте с инженерами Data DevOps для обеспечения автоматизации, наблюдаемости и развертывания функций платформы с помощью CI/CD. Будьте ключевым участником дорожной карты платформы, определяя и приоритизируя функции, которые приносят наибольшую пользу ее пользователям. Что мы ищем: Обязательно: Степень бакалавра в области компьютерных наук, инженерии или эквивалент. Минимум 3 года практического опыта создания и эксплуатации платформ данных реального времени или управляемых событиями, а также потоковых приложений. Прочные фундаментальные знания в области разработки программного обеспечения с опытом работы с такими языками, как Python, Scala или Java. Опыт создания повторно используемых фреймворков, библиотек или внутренних инструментов. Глубокие знания SQL и шаблонов интеграции данных. Опыт работы с современными облачными технологиями баз данных, такими как Snowflake или Redshift, является преимуществом. Опыт работы с технологиями потоковой передачи данных, такими как Kafka, обязателен. Большой опыт создания распределенных рабочих нагрузок обработки данных с использованием Apache Spark (PySpark и/или Scala). Практический опыт проектирования и эксплуатации управляемых событиями архитектур на AWS, включая такие службы, как MSK, Kinesis Data Streams, EKS, EMR, Lambda и EventBridge. Опыт работы с NoSQL базами данных, такими как HBase, Cassandra и DynamoDB. Отличное владение английским языком как в устной, так и в письменной форме. Желательно: Знакомство с инструментами отчетности в реальном времени, такими как Grafana или Datadog Знакомство с концепциями моделирования данных, такими как Inmon, Kimball и Data Vault Знание сервисов AWS, таких как Glue, Lambda, Step Functions и S3 Опыт оркестрации конвейеров данных с помощью таких инструментов, как Airflow. Опыт создания или управления API и микросервисами. Знакомство со скриптингом инфраструктуры, таким как Terraform, и практиками CI/CD. Что мы предлагаем: Надбавка на фитнес и оздоровление 🧗‍♂️ Корпоративный мобильный телефон для личного пользования со 100 ГБ 📱 Ежегодная компенсация обесценивания HUF 💡 Гибридная модель: 3 дня в офисе 🏢 и 2 дня из дома 🏠 Частное медицинское страхование 🩺 Карьерный рост 📈 Возможности для технического обучения и развития мягких навыков 🎓 Завтрак, фрукты и обед 🍎 Мероприятия по построению команды 🥳 Вызов принят? Отправляя свою заявку, вы понимаете, что ваши персональные данные будут обрабатываться в соответствии с нашей Политикой конфиденциальности