Senior Data Engineer (Real-Time Data Processing & Streaming)

Мы ищем опытного Старшего Инженера Данных (Senior Data Engineer) в Endava, который будет участвовать в проектировании, разработке и поддержке масштабируемых, высокопроизводительных решений для обработки данных. В этой роли вы сосредоточитесь на обработке данных в реальном времени, потоковых технологиях и событийно-ориентированных архитектурах, работая со сложными конвейерами данных, которые принимают, преобразуют, обогащают и распределяют данные с подключенных физических устройств для последующих приложений и систем хранения. Вы будете тесно сотрудничать с техническими руководителями, инженерами-программистами и кросс-функциональными командами для создания надежных, эффективных и поддерживаемых решений по обработке данных в облачной среде. Основные обязанности: Проектировать, разрабатывать и поддерживать масштабируемые конвейеры обработки данных в реальном времени и близком к реальному времени. Реализовывать решения для потоковой обработки данных с использованием таких технологий, как Apache Kafka, Apache Flink и Apache Spark. Разрабатывать и поддерживать сервисы на базе Java и интеграционные компоненты для обработки данных, полученных от физических устройств. Реализовывать сложные преобразования, сопоставления, проверки и обогащения данных для поддержки бизнес-требований и технических требований. Создавать и поддерживать событийно-ориентированные интеграции с использованием Kafka, Kafka Streams, Kafka Connect и протоколов обмена сообщениями, таких как AMQP. Обеспечивать надежную доставку данных последующим потребителям, приложениям и системам хранения. Реализовывать и поддерживать коллекции MongoDB, структуры данных и связанные с ними интеграции на уровне приложений в соответствии с архитектурными руководствами. Разрабатывать, развертывать и поддерживать облачные сервисы, в основном на AWS, используя Kubernetes и управляемые облачные сервисы. Участвовать в модернизации и миграции устаревших компонентов обработки данных к потоковым архитектурам на базе Kafka. Сотрудничать с техническими руководителями и инженерными командами для преобразования архитектурных решений в надежные, готовые к производству реализации. Устранять проблемы с производительностью, надежностью и согласованностью данных в распределенных системах обработки данных. Вносить вклад в качество кода, автоматизированное тестирование, практики CI/CD и непрерывное совершенствование инженерных процессов.

Требуемые навыки и опыт: Значительный профессиональный опыт в области Инженерии Данных (Data Engineering), с акцентом на потоковую обработку данных и распределенные системы. Продвинутые навыки программирования на Java (11+), включая опыт работы с фреймворком Spring. Практический опыт работы с Apache Kafka, включая Kafka Streams, Kafka Connect и разработку интеграций на базе Kafka. Практический опыт работы с фреймворками для потоковой и распределенной обработки, такими как Apache Flink, Apache Spark или Spark Streaming. Глубокое понимание событийно-ориентированных архитектур, шаблонов асинхронного обмена сообщениями и систем обмена сообщениями, включая AMQP. Опыт проектирования и реализации конвейеров преобразования, обогащения и интеграции данных. Опыт разработки и интеграции микросервисов и распределенных приложений. Практический опыт работы с облачными сервисами AWS, особенно S3, SQS и EKS. Опыт развертывания и эксплуатации контейнеризированных приложений с использованием Docker и Kubernetes. Рабочие знания MongoDB, включая коллекции, структуры документов и доступ к данным на базе Java. Знакомство с Redis и его использованием в распределенных приложениях. Опыт работы с рабочими процессами разработки на основе Git и конвейерами CI/CD, предпочтительно с использованием GitLab и GitLab CI/CD. Сильные навыки устранения неполадок и решения проблем, особенно в распределенных средах обработки данных с высокой пропускной способностью. Способность к совместной работе с техническими руководителями и кросс-функциональными инженерными командами, при одновременном принятии ответственности за реализацию и поставку. Желательно: Опыт работы с Apache Pulsar или Apache Storm, особенно при поддержке или модернизации устаревших систем. Знакомство с сервисами Microsoft Azure и гибридными или мультиоблачными средами. Опыт обработки телеметрии, IoT или других событийных данных, генерируемых физическими устройствами. Знание интеграций на базе SMTP. Опыт миграции устаревших систем обмена сообщениями и потоковой обработки на современные архитектуры на базе Kafka. Понимание оптимизации производительности, отказоустойчивости, мониторинга и наблюдаемости в распределенных потоковых системах.

Откройте для себя некоторые из глобальных преимуществ, которые помогают нашим сотрудникам стать лучшей версией себя: Финансы: Конкурентоспособный компенсационный пакет, план акций, премии по результатам работы компании, награды за ценностный вклад, реферальный бонус; Развитие карьеры: Карьерный коучинг, глобальные карьерные возможности, нелинейные карьерные пути, внутренние программы развития для руководящих и технических позиций; Возможности обучения: Сложные проекты, ротация, внутренние технологические сообщества, обучение, сертификация, коучинг, подписки на онлайн-платформы обучения, сессии «передай опыт», семинары, конференции; Work-Life Balance: Гибридная работа и гибкий график работы, программа поддержки сотрудников; Здоровье: Глобальная внутренняя программа благополучия, доступ к приложениям для благополучия; Сообщество: Глобальные внутренние технологические сообщества, клубы по интересам и группы по интересам, программы инклюзивности и разнообразия, мероприятия и праздники. В Endava мы стремимся создавать открытую, инклюзивную и уважительную среду, где каждый чувствует себя в безопасности, ценится и имеет возможность проявить себя наилучшим образом. Мы приветствуем заявки от людей любого происхождения, опыта и взглядов — потому что мы знаем, что инклюзивные команды помогают нам предоставлять более умные и инновационные решения для наших клиентов. Решения о найме основаны на заслугах, навыках, квалификации и потенциале. Если вам нужна корректировка или поддержка в процессе найма, пожалуйста, сообщите нам. В Endava мы стремимся создавать открытую, инклюзивную и уважительную среду, где каждый чувствует себя в безопасности, ценится и имеет возможность проявить себя наилучшим образом. Мы приветствуем заявки от людей любого происхождения, опыта и взглядов — потому что мы знаем, что инклюзивные команды помогают нам предоставлять более умные и инновационные решения для наших клиентов. Решения о найме основаны на заслугах, навыках, квалификации и потенциале. Если вам нужна корректировка или поддержка в процессе найма, пожалуйста, сообщите нам.

Технологии — это наш способ. А люди — это наша причина. Более двух десятилетий мы используем технологии для внесения значимых изменений. Сочетая инженерные решения мирового класса, отраслевую экспертизу и ориентированный на людей подход, мы консультируем и сотрудничаем с ведущими брендами из различных отраслей для создания динамичных платформ и интеллектуальных цифровых впечатлений, которые стимулируют инновации и преобразуют бизнес. От прототипа до реального воздействия — станьте частью глобальных изменений, выполняя работу, которая имеет значение.