Senior Data Engineer (Snowflake)

Должность: Старший инженер по данным (Snowflake) Местоположение: Яссы / Румыния

Проектирование, создание и поддержка масштабируемых ETL/ELT конвейеров для сбора данных из нескольких исходных систем в Snowflake. Разработка и оптимизация структур хранилищ данных Snowflake, включая базы данных, схемы, таблицы, представления и материализованные представления. Реализация логики преобразования данных с использованием SQL, dbt, Python или аналогичных инструментов в рамках архитектур, ориентированных на Snowflake. Управление и оптимизация виртуальных складов Snowflake для обеспечения производительности, параллелизма и экономической эффективности. Использование функций Snowflake, таких как stages, tasks, streams, time travel, zero-copy cloning и secure data sharing, где это уместно. Загрузка и обработка структурированных и полуструктурированных данных, включая JSON, Avro и Parquet. Мониторинг производительности запросов, устранение сбоев и настройка рабочих нагрузок Snowflake для обеспечения надежности и масштабируемости. Внедрение проверок качества данных, фреймворков валидации и мониторинга для производственных конвейеров. Тесное взаимодействие с аналитиками, BI-разработчиками, архитекторами и заинтересованными сторонами для преобразования требований к данным в технические решения. Применение передовых практик управления данными, безопасности, контроля доступа на основе ролей и соответствия требованиям в Snowflake. Поддержка CI/CD, автоматизации и процессов развертывания для рабочих процессов инжиниринга данных. Ведение технической документации для конвейеров, моделей, объектов Snowflake и операционных процедур.

5+ лет опыта работы в области инжиниринга данных, инжиниринга аналитики или аналогичной должности. Практический опыт работы с Snowflake в производственной среде. Продвинутые навыки SQL, включая разработку сложных запросов и оптимизацию запросов. Опыт работы с архитектурой Snowflake и основными объектами, такими как виртуальные склады, базы данных, схемы, таблицы (включая таблицы Iceberg), stages, tasks, streams и views. Опыт проектирования и создания ETL/ELT конвейеров для облачных платформ данных. Владение Python, Scala или Java для обработки данных и автоматизации. Опыт работы с инструментами преобразования и оркестрации данных, такими как dbt, Airflow, Matillion, Fivetran или Informatica. Знание облачных платформ, таких как AWS, Azure или GCP, и возможностей интероперабельности. Опыт работы с моделированием данных, концепциями хранилищ данных и объектно-реляционным моделированием. Понимание лучших практик безопасности, контроля доступа и управления данными в Snowflake.

Опыт работы с dbt или аналогичными инструментами и современными ELT-паттернами в Snowflake. Знание стратегий настройки производительности Snowflake, управления рабочими нагрузками и оптимизации затрат. Опыт интеграции Snowflake с облачными сервисами хранения данных, такими как Amazon S3, Azure Data Lake или Google Cloud Storage. Знакомство с паттернами потоковой или почти потоковой загрузки данных. Опыт работы с инструментами отслеживания происхождения данных, управления метаданными и управления. Сертификация Snowflake. В Endava мы стремимся создавать открытую, инклюзивную и уважительную среду, в которой каждый чувствует себя в безопасности, ценится и имеет возможность проявить себя наилучшим образом. Мы приветствуем заявки от людей любого происхождения, опыта и взглядов — потому что мы знаем, что инклюзивные команды помогают нам предоставлять более разумные и инновационные решения для наших клиентов. Решения о найме основаны на заслугах, навыках, квалификации и потенциале. Если вам требуется корректировка или поддержка в процессе набора персонала, пожалуйста, сообщите нам.

Технологии — это наш способ. А люди — наша причина. Более двух десятилетий мы используем технологии для внесения значимых изменений. Сочетая инжиниринг мирового класса, отраслевую экспертизу и клиентоориентированный подход, мы консультируем и сотрудничаем с ведущими брендами из различных отраслей, чтобы создавать динамичные платформы и интеллектуальные цифровые решения, которые способствуют инновациям и трансформируют бизнес. От прототипа до реального влияния — станьте частью глобальных перемен, делая значимую работу.