Senior Data Engineer (GCP)

Разработка, создание и поддержка масштабируемых ETL/ELT конвейеров, которые загружают данные из нескольких исходных систем на платформы на базе GCP. Разработка и внедрение логики преобразования данных с использованием SQL, dbt, Python или аналогичных инструментов в архитектурах GCP. Оптимизация решений для работы с данными на базе GCP с точки зрения производительности, надежности, масштабируемости и экономической эффективности. Внедрение и обеспечение соблюдения проверок качества данных, фреймворков валидации и комплексного мониторинга производственных конвейеров. Взаимодействие с аналитиками данных, разработчиками BI, архитекторами данных и заинтересованными сторонами для преобразования требований в масштабируемые технические решения. Внедрение управления данными, контроля безопасности, управления доступом на основе ролей и стандартов соответствия в средах GCP. Автоматизация CI/CD и процессов развертывания для рабочих процессов инжиниринга данных. Создание и поддержка исчерпывающей технической документации для всех систем и процессов обработки данных.

5+ лет профессионального опыта в области инжиниринга данных, аналитического инжиниринга или смежных областях. Подтвержденный практический опыт работы с сервисами и архитектурой GCP в производственных средах. Продвинутое владение SQL, включая разработку и оптимизацию сложных запросов. Значительный опыт проектирования и создания масштабируемых ETL/ELT конвейеров для облачных платформ данных. Владение Python, Scala или Java для обработки данных и автоматизации. Демонстрируемая экспертиза в области инструментов для преобразования и оркестрации данных (таких как dbt, Airflow, Matillion, Fivetran или Informatica). Твердое понимание концепций моделирования данных, хранилищ данных и паттернов проектирования на основе измерений. Знание лучших практик в области безопасности, механизмов контроля доступа и фреймворков управления данными. Знание стратегий оптимизации производительности, управления рабочими нагрузками и затратами. Знакомство с паттернами приема данных в реальном времени или близком к реальному времени. Опыт работы с инструментами отслеживания происхождения данных, управления метаданными и управления данными. Сертификаты GCP.

Узнайте о некоторых глобальных преимуществах, которые помогают нашим сотрудникам стать лучшей версией себя: Финансы: Конкурентоспособный компенсационный пакет, опционный план, премии по результатам работы компании, премии за признание ценности, реферальная премия; Карьерное развитие: Карьерный коучинг, глобальные карьерные возможности, нелинейные карьерные пути, внутренние программы развития для руководства и технических лидеров; Возможности обучения: Сложные проекты, ротации, внутренние технологические сообщества, тренинги, сертификации, коучинг, подписки на онлайн-платформы обучения, сессии передачи знаний, мастер-классы, конференции; Баланс между работой и личной жизнью: Гибридный формат работы и гибкий график работы, программа поддержки сотрудников; Здоровье: Глобальная внутренняя программа благополучия, доступ к приложениям для поддержания благополучия; Сообщество: Глобальные внутренние технологические сообщества, клубы по интересам и группы по интересам, программы инклюзивности и разнообразия, мероприятия и праздники. В Endava мы стремимся создавать открытую, инклюзивную и уважительную среду, в которой каждый чувствует себя в безопасности, ценится и имеет возможность раскрыть свой потенциал. Мы приветствуем заявки от людей любого происхождения, опыта и взглядов, поскольку знаем, что инклюзивные команды помогают нам предоставлять более разумные и инновационные решения для наших клиентов. Решения о найме принимаются на основе заслуг, навыков, квалификации и потенциала. Пожалуйста, сообщите нам, если вам потребуется корректировка или поддержка в процессе подбора.

Технологии — это наш способ. А люди — наша цель. Более двух десятилетий мы используем технологии для достижения значимых изменений. Объединяя передовые инженерные разработки, отраслевую экспертизу и клиентоориентированный подход, мы консультируем и сотрудничаем с ведущими брендами из различных отраслей для создания динамичных платформ и интеллектуальных цифровых решений, которые стимулируют инновации и трансформируют бизнес. От прототипа до реального воздействия — станьте частью глобальных перемен, занимаясь значимой работой.