Мы ищем опытного старшего инженера по обработке данных (Senior Data Engineer), который присоединится к Endava и будет участвовать в проектировании, разработке и поддержке масштабируемых высокопроизводительных решений для обработки данных.
В этой роли вы сосредоточитесь на обработке данных в реальном времени, потоковых технологиях и событийно-ориентированных архитектурах, работая со сложными конвейерами данных, которые принимают, преобразуют, обогащают и распределяют данные от подключенных физических устройств в последующие приложения и системы хранения.
Вы будете тесно сотрудничать с техническими руководителями, инженерами-программистами и кросс-функциональными командами для создания надежных, эффективных и поддерживаемых решений для обработки данных в облачной среде.
Ключевые обязанности:
- Проектирование, разработка и поддержка масштабируемых конвейеров обработки данных в реальном времени и близком к реальному времени.
- Реализация решений для потоковой обработки данных с использованием таких технологий, как Apache Kafka, Apache Flink и Apache Spark.
- Разработка и поддержка сервисов на основе Java и интеграционных компонентов для обработки данных, полученных от физических устройств.
- Реализация сложных преобразований, сопоставлений, проверок и обогащений данных для поддержки бизнес- и технических требований.
- Создание и поддержка событийно-ориентированных интеграций с использованием Kafka, Kafka Streams, Kafka Connect и протоколов обмена сообщениями, таких как AMQP.
- Обеспечение надежной доставки данных конечным потребителям, приложениям и системам хранения.
- Реализация и поддержка коллекций MongoDB, структур данных и связанных с ними интеграций на уровне приложений в соответствии с архитектурными рекомендациями.
- Разработка, развертывание и поддержка облачных сервисов, в первую очередь на AWS, с использованием Kubernetes и управляемых облачных сервисов.
- Участие в модернизации и миграции устаревших компонентов обработки данных в сторону потоковых архитектур на основе Kafka.
- Сотрудничество с техническими руководителями и инженерными командами для преобразования архитектурных проектов в надежные, готовые к производству реализации.
- Поиск и устранение проблем с производительностью, надежностью и согласованностью данных в распределенных системах обработки данных.
- Вклад в качество кода, автоматизированное тестирование, практики CI/CD и постоянное совершенствование инженерных процессов.
Требуемые навыки и опыт:
- Значительный профессиональный опыт в области Data Engineering с акцентом на потоковую обработку данных и распределенные системы.
- Продвинутые навыки программирования на Java (11+), включая опыт работы с фреймворком Spring.
- Практический опыт работы с Apache Kafka, включая Kafka Streams, Kafka Connect и разработку интеграций на основе Kafka.
- Практический опыт работы с фреймворками потоковой и распределенной обработки, такими как Apache Flink, Apache Spark или Spark Streaming.
- Прочное понимание событийно-ориентированных архитектур, паттернов асинхронного обмена сообщениями и систем обмена сообщениями, включая AMQP.
- Опыт проектирования и реализации конвейеров преобразования, обогащения и интеграции данных.
- Опыт разработки и интеграции микросервисов и распределенных приложений.
- Практический опыт работы с облачными сервисами AWS, в частности S3, SQS и EKS.
- Опыт развертывания и эксплуатации контейнеризированных приложений с использованием Docker и Kubernetes.
- Рабочее знание MongoDB, включая коллекции, структуры документов и доступ к данным на основе Java.
- Знакомство с Redis и его использованием в распределенных приложениях.
- Опыт работы с рабочими процессами разработки на основе Git и конвейерами CI/CD, предпочтительно с использованием GitLab и GitLab CI/CD.
- Сильные навыки поиска и устранения неисправностей, особенно в распределенных средах обработки данных с высокой пропускной способностью.
- Способность к совместной работе с техническими руководителями и кросс-функциональными инженерными командами, при одновременном принятии ответственности за реализацию и доставку.
Будет плюсом:
- Опыт работы с Apache Pulsar или Apache Storm, особенно в части поддержки или модернизации устаревших систем.
- Знакомство с сервисами Microsoft Azure и гибридными или мультиоблачными средами.
- Опыт обработки телеметрии, IoT или других событийных данных, генерируемых физическими устройствами.
- Знание интеграций на основе SMTP.
- Опыт миграции устаревших систем обмена сообщениями и потоковой обработки в современные архитектуры на основе Kafka.
- Понимание оптимизации производительности, отказоустойчивости, мониторинга и наблюдаемости в распределенных потоковых системах.
Узнайте о некоторых глобальных преимуществах, которые помогают нашим сотрудникам стать лучшей версией себя:
- Финансы: Конкурентоспособный пакет заработной платы, опционный план, бонусы за результаты работы компании, премии за признание ценности, бонус за рекомендацию;
- Развитие карьеры: Карьерное консультирование, глобальные карьерные возможности, нелинейные карьерные пути, программы внутреннего развития для руководства и технического лидерства;
- Возможности обучения: Сложные проекты, ротации, внутренние технические сообщества, тренинги, сертификации, коучинг, подписки на онлайн-платформы обучения, сессии "передай опыт", семинары, конференции;
- Баланс между работой и личной жизнью: Гибридный формат работы и гибкий график, программа поддержки сотрудников;
- Здоровье: Глобальная внутренняя программа благополучия, доступ к приложениям для благополучия;
- Сообщество: Глобальные внутренние технические сообщества, клубы по интересам и группы по увлечениям, программы инклюзивности и разнообразия, мероприятия и праздники.
В Endava мы стремимся создавать открытую, инклюзивную и уважительную среду, в которой каждый чувствует себя в безопасности, ценится и имеет возможность проявить себя наилучшим образом. Мы приветствуем заявки от людей любого происхождения, опыта и взглядов — потому что мы знаем, что инклюзивные команды помогают нам предоставлять более умные и инновационные решения для наших клиентов. Решения о найме принимаются на основе заслуг, навыков, квалификации и потенциала. Если вам потребуется помощь или поддержка в процессе подбора персонала, пожалуйста, сообщите нам.
Технологии — это наш способ. А люди — наша причина. Более двух десятилетий мы используем технологии для внесения значимых изменений.
Сочетая инженерные решения мирового класса, отраслевую экспертизу и клиентоориентированный подход, мы консультируем ведущие бренды из различных отраслей и сотрудничаем с ними для создания динамичных платформ и интеллектуальных цифровых решений, которые стимулируют инновации и трансформируют бизнес.
От прототипа до реального воздействия — станьте частью глобальных изменений, выполняя значимую работу.
