Senior Data Engineer (Real-Time Data Processing & Streaming)

Мы ищем опытного Старшего инженера по данным (Senior Data Engineer) для присоединения к Endava и внесения вклада в проектирование, разработку и поддержку масштабируемых высокопроизводительных решений для обработки данных. В этой роли вы сосредоточитесь на обработке данных в режиме реального времени, потоковых технологиях и событийно-ориентированных архитектурах, работая со сложными конвейерами данных, которые принимают, преобразуют, обогащают и распределяют данные с подключенных физических устройств в нижестоящие приложения и системы хранения. Вы будете тесно сотрудничать с техническими руководителями, инженерами-программистами и кросс-функциональными командами для создания надежных, эффективных и поддерживаемых решений по обработке данных в облачной среде. Основные обязанности: Проектирование, разработка и поддержка масштабируемых конвейеров обработки данных в режиме реального времени и близком к реальному времени. Реализация решений для потоковой обработки данных с использованием таких технологий, как Apache Kafka, Apache Flink и Apache Spark. Разработка и поддержка сервисов на базе Java и интеграционных компонентов для обработки данных, полученных от физических устройств. Реализация сложных преобразований, сопоставлений, валидаций и обогащений данных для поддержки бизнес- и технических требований. Создание и поддержка событийно-ориентированных интеграций с использованием Kafka, Kafka Streams, Kafka Connect и протоколов обмена сообщениями, таких как AMQP. Обеспечение надежной доставки данных потребителям, приложениям и системам хранения. Реализация и поддержка коллекций MongoDB, структур данных и связанных с ними интеграций на уровне приложений в соответствии с архитектурными руководствами. Разработка, развертывание и поддержка облачных сервисов, в первую очередь на AWS, с использованием Kubernetes и управляемых облачных сервисов. Вклад в модернизацию и миграцию устаревших компонентов обработки данных в сторону потоковых архитектур на основе Kafka. Сотрудничество с техническими руководителями и инженерными командами для преобразования архитектурных решений в надежные, готовые к эксплуатации реализации. Устранение проблем с производительностью, надежностью и согласованностью данных в распределенных системах обработки данных. Вклад в качество кода, автоматизированное тестирование, практики CI/CD и постоянное совершенствование инженерных процессов.

Требуемые навыки и опыт: Значительный профессиональный опыт в области Data Engineering с акцентом на потоковую обработку данных и распределенные системы. Продвинутые навыки программирования на Java (11+), включая опыт работы с фреймворком Spring. Практический опыт работы с Apache Kafka, включая Kafka Streams, Kafka Connect и разработку интеграций на основе Kafka. Практический опыт работы с фреймворками потоковой и распределенной обработки, такими как Apache Flink, Apache Spark или Spark Streaming. Прочное понимание событийно-ориентированных архитектур, шаблонов асинхронной связи и систем обмена сообщениями, включая AMQP. Опыт проектирования и реализации конвейеров преобразования, обогащения и интеграции данных. Опыт разработки и интеграции микросервисов и распределенных приложений. Практический опыт работы с облачными сервисами AWS, особенно S3, SQS и EKS. Опыт развертывания и эксплуатации контейнеризированных приложений с использованием Docker и Kubernetes. Рабочие знания MongoDB, включая коллекции, структуры документов и доступ к данным на основе Java. Знакомство с Redis и его использованием в распределенных приложениях. Опыт работы с рабочими процессами разработки на основе Git и конвейерами CI/CD, предпочтительно с использованием GitLab и GitLab CI/CD. Сильные навыки устранения неполадок и решения проблем, особенно в распределенных средах обработки данных с высокой пропускной способностью. Способность к совместной работе с техническими руководителями и кросс-функциональными инженерными командами, проявляя при этом ответственность за реализацию и поставку. Приветствуется: Опыт работы с Apache Pulsar или Apache Storm, особенно в обслуживании или модернизации устаревших систем. Знакомство с сервисами Microsoft Azure и гибридными или мультиоблачными средами. Опыт обработки телеметрии, IoT или других событийных данных, генерируемых физическими устройствами. Знание интеграций на основе SMTP. Опыт миграции устаревших систем обмена сообщениями и потоковой обработки в современные архитектуры на основе Kafka. Понимание оптимизации производительности, отказоустойчивости, мониторинга и наблюдаемости в распределенных потоковых системах.

Откройте для себя некоторые из глобальных преимуществ, которые помогают нашим сотрудникам становиться лучшей версией себя: Финансы: Конкурентоспособный пакет заработной платы, опционный план, бонусы за производительность компании, награды за ценностное признание, реферальный бонус; Развитие карьеры: Карьерный коучинг, глобальные карьерные возможности, нелинейные карьерные пути, внутренние программы развития для менеджмента и технического лидерства; Возможности обучения: Сложные проекты, ротации, внутренние технические сообщества, тренинги, сертификации, коучинг, подписки на онлайн-платформы обучения, сессии «передай опыт», мастер-классы, конференции; Баланс между работой и личной жизнью: Гибридная работа и гибкий график работы, программа помощи сотрудникам; Здоровье: Глобальная внутренняя программа благополучия, доступ к приложениям для благополучия; Сообщество: Глобальные внутренние технические сообщества, клубы по интересам и группы по интересам, программы инклюзивности и разнообразия, мероприятия и празднования. В Endava мы стремимся создавать открытую, инклюзивную и уважительную среду, в которой каждый чувствует себя в безопасности, ценится и имеет возможность проявить себя наилучшим образом. Мы приветствуем заявки от людей любого происхождения, опыта и взглядов, поскольку мы знаем, что инклюзивные команды помогают нам предоставлять более умные и инновационные решения для наших клиентов. Решения о найме основаны на заслугах, навыках, квалификации и потенциале. Если вам требуются корректировки или поддержка в процессе подбора персонала, пожалуйста, сообщите нам. В Endava мы стремимся создавать открытую, инклюзивную и уважительную среду, в которой каждый чувствует себя в безопасности, ценится и имеет возможность проявить себя наилучшим образом. Мы приветствуем заявки от людей любого происхождения, опыта и взглядов, поскольку мы знаем, что инклюзивные команды помогают нам предоставлять более умные и инновационные решения для наших клиентов. Решения о найме основаны на заслугах, навыках, квалификации и потенциале. Если вам требуются корректировки или поддержка в процессе подбора персонала, пожалуйста, сообщите нам.

Технологии — это наш способ. А люди — наша причина. Более двух десятилетий мы используем технологии для достижения значимых перемен. Сочетая инженерные решения мирового класса, отраслевую экспертизу и клиентоориентированный подход, мы консультируем и сотрудничаем с ведущими брендами из различных отраслей для создания динамичных платформ и интеллектуальных цифровых решений, которые стимулируют инновации и трансформируют бизнес. От прототипа до реального влияния — станьте частью глобальных изменений, занимаясь делом, которое имеет значение.