Senior Data Engineer (Snowflake)

Разработка, создание и поддержка масштабируемых ETL/ELT конвейеров для приема данных из множества исходных систем в Snowflake. Разработка и оптимизация структур хранилища данных Snowflake, включая базы данных, схемы, таблицы, представления и материализованные представления. Реализация логики преобразования данных с использованием SQL, dbt, Python или аналогичных инструментов в рамках архитектур, ориентированных на Snowflake. Управление и оптимизация виртуальных складов Snowflake для обеспечения производительности, параллелизма и экономической эффективности. Использование функций Snowflake, таких как stages, tasks, streams, time travel, zero-copy cloning и безопасный обмен данными, где это целесообразно. Загрузка и обработка структурированных и полуструктурированных данных, включая JSON, Avro и Parquet. Мониторинг производительности запросов, устранение сбоев и настройка рабочих нагрузок Snowflake для обеспечения надежности и масштабируемости. Внедрение проверок качества данных, фреймворков валидации и мониторинга для производственных конвейеров. Тесное сотрудничество с аналитиками, BI-разработчиками, архитекторами и бизнес-стейкхолдерами для преобразования требований к данным в технические решения. Применение лучших практик управления данными, безопасности, ролевого контроля доступа и соответствия требованиям в Snowflake. Поддержка CI/CD, автоматизации и процессов развертывания для рабочих процессов инжиниринга данных. Ведение технической документации для конвейеров, моделей, объектов Snowflake и операционных процедур.

5+ лет опыта работы в области инжиниринга данных, аналитического инжиниринга или аналогичной роли. Практический опыт работы с Snowflake в производственной среде. Продвинутые навыки SQL, включая разработку сложных запросов и оптимизацию запросов. Опыт работы с архитектурой Snowflake и основными объектами, такими как виртуальные склады, базы данных, схемы, таблицы (включая таблицы Iceberg), stages, tasks, streams и views. Опыт проектирования и создания ETL/ELT конвейеров для облачных платформ данных. Владение Python, Scala или Java для обработки данных и автоматизации. Опыт работы с инструментами преобразования и оркестрации данных, такими как dbt, Airflow, Matillion, Fivetran или Informatica. Знание облачных платформ, таких как AWS, Azure или GCP, и возможностей интероперабельности. Опыт работы с моделированием данных, концепциями хранилищ данных и объектно-реляционным моделированием. Понимание лучших практик безопасности, контроля доступа и управления данными в Snowflake.

Опыт работы с dbt или аналогичными инструментами и современными ELT-паттернами в Snowflake. Знание стратегий настройки производительности Snowflake, управления рабочими нагрузками и оптимизации затрат. Опыт интеграции Snowflake со службами облачного хранения, такими как Amazon S3, Azure Data Lake или Google Cloud Storage. Знакомство с моделями приема данных в реальном времени или почти в реальном времени. Опыт работы с инструментами отслеживания происхождения данных (data lineage), управления метаданными и управления данными. Сертификация Snowflake. В Endava мы стремимся создавать открытую, инклюзивную и уважительную среду, где каждый чувствует себя в безопасности, ценится и получает возможность проявить себя наилучшим образом. Мы приветствуем заявки от людей с любым происхождением, опытом и взглядами — потому что мы знаем, что инклюзивные команды помогают нам предоставлять более умные и инновационные решения для наших клиентов. Решения о найме основаны на заслугах, навыках, квалификации и потенциале. Пожалуйста, сообщите нам, если вам потребуется адаптация или поддержка в процессе найма.

Технологии — это наш инструмент. А люди — наша цель. Более двух десятилетий мы используем технологии для внесения значимых изменений. Сочетая передовой инжиниринг, отраслевую экспертизу и клиентоориентированный подход, мы консультируем ведущие бренды из различных отраслей и сотрудничаем с ними для создания динамичных платформ и интеллектуальных цифровых решений, которые стимулируют инновации и трансформируют бизнес. От прототипа до реального воздействия — станьте частью глобальных перемен, выполняя работу, которая имеет значение.