Senior Data Engineer (Real-Time Data Processing & Streaming)

Мы ищем опытного Старшего инженера по данным (Senior Data Engineer) в Endava, чтобы внести свой вклад в проектирование, разработку и поддержку масштабируемых высокопроизводительных решений по обработке данных. В этой роли вы сосредоточитесь на обработке данных в режиме реального времени, потоковых технологиях и событийно-ориентированных архитектурах, работая со сложными конвейерами данных, которые принимают, преобразуют, обогащают и распределяют данные с подключенных физических устройств в нижестоящие приложения и системы хранения данных. Вы будете тесно сотрудничать с техническими руководителями, инженерами-программистами и кросс-функциональными командами для создания надежных, эффективных и поддерживаемых решений по обработке данных в облачно-нативной среде. Ключевые обязанности: Проектирование, разработка и поддержка масштабируемых конвейеров обработки данных в реальном времени и почти в реальном времени. Реализация решений для потоковой обработки данных с использованием таких технологий, как Apache Kafka, Apache Flink и Apache Spark. Разработка и поддержка сервисов на базе Java и интеграционных компонентов для обработки данных, полученных от физических устройств. Реализация сложных преобразований, сопоставлений, проверок и обогащений данных для поддержки бизнес- и технических требований. Создание и поддержка событийно-ориентированных интеграций с использованием Kafka, Kafka Streams, Kafka Connect и протоколов обмена сообщениями, таких как AMQP. Обеспечение надежной доставки данных потребителям, приложениям и системам хранения данных. Реализация и поддержка коллекций MongoDB, структур данных и связанных интеграций на уровне приложений в соответствии с архитектурными руководствами. Разработка, развертывание и поддержка облачно-нативных сервисов, в основном на AWS, с использованием Kubernetes и управляемых облачных сервисов. Участие в модернизации и миграции устаревших компонентов обработки данных к потоковым архитектурам на основе Kafka. Сотрудничество с техническими руководителями и инженерными командами для преобразования архитектурных проектов в надежные, готовые к производству реализации. Устранение проблем с производительностью, надежностью и согласованностью данных в распределенных системах обработки данных. Вклад в качество кода, автоматизированное тестирование, практики CI/CD и непрерывное совершенствование инженерных процессов.

Требуемые навыки и опыт: Значительный профессиональный опыт в области инженерии данных (Data Engineering) с акцентом на потоковую обработку данных и распределенные системы. Продвинутые навыки программирования на Java (11+), включая опыт работы с фреймворком Spring. Практический опыт работы с Apache Kafka, включая Kafka Streams, Kafka Connect и разработку интеграций на основе Kafka. Практический опыт работы с фреймворками для потоковой и распределенной обработки, такими как Apache Flink, Apache Spark или Spark Streaming. Глубокое понимание событийно-ориентированных архитектур, шаблонов асинхронной связи и систем обмена сообщениями, включая AMQP. Опыт проектирования и реализации конвейеров преобразования, обогащения и интеграции данных. Опыт разработки и интеграции микросервисов и распределенных приложений. Практический опыт работы с облачными сервисами AWS, особенно S3, SQS и EKS. Опыт развертывания и эксплуатации контейнеризированных приложений с использованием Docker и Kubernetes. Практические знания MongoDB, включая коллекции, структуры документов и доступ к данным на основе Java. Опыт работы с Redis и его использованием в распределенных приложениях. Опыт работы с рабочими процессами разработки на основе Git и конвейерами CI/CD, предпочтительно с использованием GitLab и GitLab CI/CD. Сильные навыки устранения неполадок и решения проблем, особенно в распределенных средах обработки данных с высокой пропускной способностью. Способность к совместной работе с техническими руководителями и кросс-функциональными инженерными командами, при этом беря на себя ответственность за реализацию и доставку. Приветствуется: Опыт работы с Apache Pulsar или Apache Storm, особенно в обслуживании или модернизации устаревших систем. Опыт работы с сервисами Microsoft Azure и гибридными или мультиоблачными средами. Опыт обработки телеметрии, IoT или других событийных данных, генерируемых физическими устройствами. Знание интеграций на основе SMTP. Опыт миграции устаревших систем обмена сообщениями и потоковой обработки в современные архитектуры на основе Kafka. Понимание оптимизации производительности, отказоустойчивости, мониторинга и наблюдаемости в распределенных потоковых системах.

Откройте для себя некоторые из глобальных преимуществ, которые помогают нашим сотрудникам быть лучшей версией себя: Финансы: Конкурентоспособный компенсационный пакет, опционный план, бонусы по результатам работы компании, премии за признание заслуг, реферальный бонус; Развитие карьеры: Карьерный коучинг, глобальные карьерные возможности, нелинейные карьерные пути, внутренние программы развития для управленческого и технического лидерства; Возможности обучения: Сложные проекты, ротация, внутренние технологические сообщества, тренинги, сертификации, коучинг, подписки на платформы онлайн-обучения, сессии «передай опыт», семинары, конференции; Баланс между работой и личной жизнью: Гибридная работа и гибкий рабочий график, программа помощи сотрудникам; Здоровье: Глобальная внутренняя программа благополучия, доступ к приложениям для улучшения самочувствия; Сообщество: Глобальные внутренние технологические сообщества, клубы по интересам и группы по интересам, программы инклюзивности и разнообразия, мероприятия и празднования. В Endava мы стремимся создавать открытую, инклюзивную и уважительную среду, в которой каждый чувствует себя в безопасности, ценится и имеет возможность быть лучшей версией себя. Мы приветствуем заявки от людей любого происхождения, опыта и взглядов — потому что мы знаем, что инклюзивные команды помогают нам предоставлять более умные, инновационные решения для наших клиентов. Решения о найме основаны на заслугах, навыках, квалификации и потенциале. Если вам нужна корректировка или поддержка в процессе найма, пожалуйста, сообщите нам. В Endava мы стремимся создавать открытую, инклюзивную и уважительную среду, в которой каждый чувствует себя в безопасности, ценится и имеет возможность быть лучшей версией себя. Мы приветствуем заявки от людей любого происхождения, опыта и взглядов — потому что мы знаем, что инклюзивные команды помогают нам предоставлять более умные, инновационные решения для наших клиентов. Решения о найме основаны на заслугах, навыках, квалификации и потенциале. Если вам нужна корректировка или поддержка в процессе найма, пожалуйста, сообщите нам.

Технологии — это наш способ. А люди — наша цель. Более двух десятилетий мы используем технологии для внесения значимых изменений. Сочетая инжиниринг мирового класса, отраслевой опыт и человеко-ориентированный подход, мы консультируем и сотрудничаем с ведущими брендами из различных отраслей для создания динамичных платформ и интеллектуальных цифровых решений, которые стимулируют инновации и трансформируют бизнес. От прототипа до реального воздействия — станьте частью глобальных перемен, занимаясь важной работой.