Заголовок: Старший инженер данных (Snowflake)
Местоположение: Брашов / Румыния
- Проектирование, создание и поддержка масштабируемых ETL/ELT конвейеров для загрузки данных из множества исходных систем в Snowflake.
- Разработка и оптимизация структур хранилища данных Snowflake, включая базы данных, схемы, таблицы, представления и материализованные представления.
- Реализация логики преобразования данных с использованием SQL, dbt, Python или аналогичных инструментов в рамках архитектур, ориентированных на Snowflake.
- Управление и оптимизация виртуальных складов Snowflake для повышения производительности, параллелизма и экономической эффективности.
- Использование функций Snowflake, таких как stages, tasks, streams, time travel, zero-copy cloning и secure data sharing, где это применимо.
- Загрузка и обработка структурированных и полуструктурированных данных, включая JSON, Avro и Parquet.
- Мониторинг производительности запросов, устранение сбоев и настройка рабочих нагрузок Snowflake для обеспечения надежности и масштабируемости.
- Внедрение проверок качества данных, фреймворков валидации и мониторинга для производственных конвейеров.
- Тесное сотрудничество с аналитиками, разработчиками BI, архитекторами и заинтересованными сторонами для преобразования требований к данным в технические решения.
- Применение лучших практик в области управления данными, безопасности, ролевого контроля доступа и соответствия требованиям в Snowflake.
- Поддержка процессов CI/CD, автоматизации и развертывания для рабочих процессов инжиниринга данных.
- Ведение технической документации для конвейеров, моделей, объектов Snowflake и операционных процедур.
Требования:
- Опыт работы в области инжиниринга данных, аналитического инжиниринга или аналогичной роли более 5 лет.
- Практический опыт работы с Snowflake в производственных средах.
- Продвинутые навыки SQL, включая разработку сложных запросов и оптимизацию запросов.
- Опыт работы с архитектурой Snowflake и основными объектами, такими как виртуальные склады, базы данных, схемы, таблицы (включая таблицы Iceberg), stages, tasks, streams и views.
- Опыт проектирования и создания ETL/ELT конвейеров для облачных платформ данных.
- Владение Python, Scala или Java для обработки данных и автоматизации.
- Опыт работы с инструментами преобразования и оркестрации данных, такими как dbt, Airflow, Matillion, Fivetran или Informatica.
- Знание облачных платформ, таких как AWS, Azure или GCP, и возможностей интероперабельности.
- Опыт работы с моделированием данных, концепциями хранилищ данных и объектно-реляционным моделированием.
- Понимание лучших практик в области безопасности Snowflake, контроля доступа и управления данными.
Предпочтительные квалификации:
- Опыт работы с dbt или аналогичными инструментами и современными ELT паттернами в Snowflake.
- Знание стратегий настройки производительности Snowflake, управления рабочими нагрузками и оптимизации затрат.
- Опыт интеграции Snowflake с облачными сервисами хранения, такими как Amazon S3, Azure Data Lake или Google Cloud Storage.
- Знакомство с паттернами приема данных в реальном времени или почти в реальном времени.
- Опыт работы с инструментами отслеживания происхождения данных, управления метаданными и управления данными.
- Сертификация Snowflake.
В Endava мы стремимся создавать открытую, инклюзивную и уважительную среду, где каждый чувствует себя в безопасности, ценимым и имеющим возможность раскрыть свой потенциал. Мы приветствуем заявки от людей любого происхождения, опыта и взглядов — потому что мы знаем, что инклюзивные команды помогают нам предоставлять более умные и инновационные решения для наших клиентов. Решения о приеме на работу принимаются на основе заслуг, навыков, квалификации и потенциала. Пожалуйста, сообщите нам, если вам требуются какие-либо корректировки или поддержка в процессе подбора.
Технологии — это наш способ. А люди — это наша причина. Более двух десятилетий мы используем технологии для внесения значимых изменений.
Сочетая инженерные решения мирового класса, отраслевую экспертизу и клиентоориентированный подход, мы консультируем и сотрудничаем с ведущими брендами из различных отраслей для создания динамичных платформ и интеллектуальных цифровых решений, которые стимулируют инновации и трансформируют бизнес.
От прототипа до реального влияния — станьте частью глобальных перемен, выполняя значимую работу.
