Senior Data Engineer (Snowflake)

Должность: Senior Data Engineer (Snowflake) Местоположение: Бухарест / Румыния

Разрабатывайте, создавайте и поддерживайте масштабируемые ETL/ELT конвейеры для сбора данных из различных исходных систем в Snowflake. Разрабатывайте и оптимизируйте структуры хранилища данных Snowflake, включая базы данных, схемы, таблицы, представления и материализованные представления. Реализуйте логику преобразования данных с использованием SQL, dbt, Python или аналогичных инструментов в архитектурах, ориентированных на Snowflake. Управляйте и оптимизируйте виртуальные склады Snowflake с точки зрения производительности, параллелизма и экономической эффективности. Используйте возможности Snowflake, такие как stages, tasks, streams, time travel, zero-copy cloning и secure data sharing, где это целесообразно. Загружайте и обрабатывайте структурированные и полуструктурированные данные, включая JSON, Avro и Parquet. Отслеживайте производительность запросов, устраняйте сбои и оптимизируйте рабочие нагрузки Snowflake для обеспечения надежности и масштабируемости. Внедряйте проверки качества данных, фреймворки валидации и мониторинг для производственных конвейеров. Тесно сотрудничайте с аналитиками, BI-разработчиками, архитекторами и заинтересованными сторонами бизнеса для преобразования требований к данным в технические решения. Применяйте лучшие практики управления данными, безопасности, ролевого контроля доступа и соответствия требованиям в Snowflake. Поддерживайте CI/CD, автоматизацию и процессы развертывания для рабочих процессов инженерии данных. Ведите техническую документацию для конвейеров, моделей, объектов Snowflake и операционных процедур.

5+ лет опыта работы в области инженерии данных, аналитической инженерии или аналогичной должности. Практический опыт работы с Snowflake в производственной среде. Продвинутые навыки SQL, включая разработку сложных запросов и оптимизацию запросов. Опыт работы с архитектурой Snowflake и основными объектами, такими как виртуальные склады, базы данных, схемы, таблицы (включая таблицы Iceberg), stages, tasks, streams и представления. Опыт проектирования и создания ETL/ELT конвейеров для облачных платформ данных. Владение Python, Scala или Java для обработки данных и автоматизации. Опыт работы с инструментами преобразования и оркестровки данных, такими как dbt, Airflow, Matillion, Fivetran или Informatica. Знание облачных платформ, таких как AWS, Azure или GCP, и возможностей их взаимодействия. Опыт работы с моделированием данных, концепциями хранилищ данных и объектно-реляционным моделированием. Понимание лучших практик безопасности, контроля доступа и управления данными в Snowflake.

Опыт работы с dbt или аналогичными инструментами и современными ELT-паттернами в Snowflake. Знание стратегий оптимизации производительности, управления рабочими нагрузками и затрат в Snowflake. Опыт интеграции Snowflake со службами облачного хранения, такими как Amazon S3, Azure Data Lake или Google Cloud Storage. Опыт работы с шаблонами потоковой или почти потоковой передачи данных. Опыт работы с инструментами отслеживания происхождения данных, управления метаданными и управления данными. Сертификация Snowflake. В Endava мы стремимся создавать открытую, инклюзивную и уважительную среду, в которой каждый чувствует себя в безопасности, ценится и имеет возможность раскрыть свой потенциал. Мы приветствуем заявки от людей любого происхождения, опыта и взглядов — потому что мы знаем, что инклюзивные команды помогают нам предоставлять более умные и инновационные решения для наших клиентов. Решения о приеме на работу основаны на заслугах, навыках, квалификации и потенциале. Если вам нужна помощь или поддержка в процессе найма, пожалуйста, сообщите нам.

Технологии — это наш способ. А люди — наша причина. Более двух десятилетий мы используем технологии для внесения значимых изменений. Сочетая инженерию мирового класса, отраслевой опыт и клиентоориентированный подход, мы консультируем ведущие бренды из различных отраслей и сотрудничаем с ними для создания динамичных платформ и интеллектуальных цифровых решений, которые стимулируют инновации и преобразуют бизнес. От прототипа до реального воздействия — станьте частью глобальных изменений, делая работу, которая имеет значение.