Senior Data Engineer (GCP)

Проектирование, создание и поддержка масштабируемых ETL/ELT конвейеров, которые принимают данные из нескольких исходных систем на платформы на базе GCP. Разработка и внедрение логики преобразования данных с использованием SQL, dbt, Python или аналогичных инструментов в архитектурах GCP. Оптимизация решений для работы с данными на базе GCP с точки зрения производительности, надежности, масштабируемости и экономической эффективности. Разработка и внедрение проверок качества данных, фреймворков валидации и комплексного мониторинга для производственных конвейеров. Сотрудничество с аналитиками данных, разработчиками BI, архитекторами данных и бизнес-стейкхолдерами для преобразования требований в масштабируемые технические решения. Внедрение управления данными, средств контроля безопасности, управления доступом на основе ролей и стандартов соответствия в средах GCP. Автоматизация CI/CD и процессов развертывания для рабочих процессов инжиниринга данных. Создание и поддержка комплексной технической документации для всех систем и процессов обработки данных.

5+ лет профессионального опыта в области инжиниринга данных, аналитического инжиниринга или смежных областях. Подтвержденный практический опыт работы с сервисами и архитектурой GCP в производственных средах. Продвинутое владение SQL, включая разработку и оптимизацию сложных запросов. Значительный опыт проектирования и создания масштабируемых ETL/ELT конвейеров для облачных платформ данных. Владение Python, Scala или Java для обработки данных и автоматизации. Демонстрируемая экспертиза в области инструментов преобразования и оркестрации данных (таких как dbt, Airflow, Matillion, Fivetran или Informatica). Хорошее понимание моделирования данных, концепций хранилищ данных и паттернов объектно-ориентированного дизайна. Знание лучших практик безопасности, механизмов контроля доступа и фреймворков управления данными. Знание стратегий оптимизации производительности, управления рабочей нагрузкой и затратами. Знакомство с паттернами приема данных в реальном времени или почти в реальном времени. Опыт работы с инструментами отслеживания происхождения данных, управления метаданными и управления данными. Сертификаты GCP.

Откройте для себя некоторые из глобальных преимуществ, которые помогают нашим сотрудникам стать лучшей версией себя: Финансы: Конкурентоспособный пакет заработной платы, опционный план, премии по результатам работы компании, премии за признание заслуг на основе ценностей, бонус за рекомендацию; Карьерное развитие: Карьерный коучинг, глобальные карьерные возможности, нелинейные карьерные пути, программы внутреннего развития для руководства и технических лидеров; Возможности обучения: Сложные проекты, ротации, внутренние технические сообщества, тренинги, сертификации, коучинг, подписки на онлайн-платформы обучения, сессии "передай опыт", воркшопы, конференции; Баланс между работой и личной жизнью: Гибридный формат работы и гибкие рабочие часы, программа помощи сотрудникам; Здоровье: Глобальная внутренняя программа благополучия, доступ к приложениям для поддержания благополучия; Сообщество: Глобальные внутренние технические сообщества, клубы по интересам и группы по интересам, программы инклюзивности и разнообразия, мероприятия и празднования. В Endava мы стремимся создать открытую, инклюзивную и уважительную среду, в которой каждый чувствует себя в безопасности, ценится и имеет возможность раскрыть свой потенциал. Мы приветствуем заявки от людей любого происхождения, опыта и взглядов — потому что мы знаем, что инклюзивные команды помогают нам предоставлять более умные и инновационные решения для наших клиентов. Решения о приеме на работу основываются на заслугах, навыках, квалификации и потенциале. Пожалуйста, дайте нам знать, если вам требуются корректировки или поддержка в процессе подбора персонала.

Технологии — это наш способ. А люди — наша цель. На протяжении более двух десятилетий мы используем технологии для внесения значимых изменений. Сочетая инженерные решения мирового класса, отраслевую экспертизу и клиентоориентированный подход, мы консультируем и сотрудничаем с ведущими брендами из различных отраслей для создания динамичных платформ и интеллектуальных цифровых решений, которые стимулируют инновации и преобразуют бизнес. От прототипа до реального влияния — станьте частью глобальных перемен, выполняя работу, которая имеет значение.