Старший инженер данных Snowflake

Описание проекта

Проект для одной из всемирно известных научно-технических компаний в фармацевтической отрасли, поддерживающей инициативы в области AWS, AI и инженерии данных, с планами по запуску более 20 дополнительных инициатив в будущем. Модернизация инфраструктуры данных путем перехода на Snowflake является приоритетом, поскольку это расширит возможности для реализации передовых решений в области AI и откроет многочисленные возможности для инноваций и роста.

Обязанности

• Глубокое знание возможностей Snowflake для хранилищ данных.
• Понимание архитектуры виртуальных складов Snowflake и способов оптимизации производительности и затрат.
• Владение функциями обмена данными и интеграции Snowflake для беспрепятственного сотрудничества.
• Разработка и оптимизация сложных SQL-скриптов, хранимых процедур и преобразований данных.
• Тесное взаимодействие с аналитиками данных, архитекторами и бизнес-командами для понимания требований и предоставления надежных решений для данных.
• Внедрение и поддержка моделей данных, включая измеретельное моделирование для хранилищ данных, витрин данных и схем «звезда»/«снежинка» для поддержки отчетности и аналитики.
• Интеграция данных из различных источников, включая API, плоские файлы, реляционные базы данных и облачные сервисы.
• Обеспечение соответствия стандартам качества данных, управления данными и соответствия требованиям.
• Мониторинг и устранение проблем с производительностью, ошибок и сбоев конвейеров в Snowflake и связанных инструментах.
• Участие в обзорах кода, тестировании и развертывании решений для данных в средах разработки и производства.

Навыки

Обязательно

• Опыт работы от 5 лет.
• Глубокое знание Snowflake (Snowpipe, RBAC, настройка производительности).
• Умение писать сложные SQL-запросы, хранимые процедуры и пользовательские функции.
• Навыки оптимизации SQL-запросов для повышения производительности и эффективности.
• Опыт работы с инструментами и методами ETL/ELT, включая Snowpipe, AWS Glue, openflow, fivetran или аналогичные инструменты для обработки данных в реальном времени и периодической обработки.
• Владение преобразованием данных в Snowflake с использованием SQL, Python — как плюс.
• Глубокое понимание безопасности данных, соответствия требованиям и управления данными.
• Опыт работы с DBT для моделирования объектов базы данных и их подготовки.
• Опыт работы с инструментами контроля версий, в частности Azure DevOps.
• Хорошие навыки документирования и наставничества.

Желательно

• Опыт работы с AWS Lambda, особенно в использовании Python для разработки функциональных возможностей извлечения данных.
• Умение извлекать данные с платформ, таких как SharePoint или Salesforce, и передавать их в бакет S3.

Другое

• Языки: Английский: B2 Upper Intermediate.
• Уровень: Senior.

Что вы будете делать / кто вы

• Проектирование, создание и оптимизация масштабируемых конвейеров данных и облачных решений в AWS, Azure и GCP.
• Сотрудничество с кросс-функциональными командами для предоставления надежных решений для данных.
• Вклад в управление данными, безопасность и RBAC в средах на базе Snowflake.

Технологический стек / описание команды

• Snowflake, Snowpipe, RBAC, концепции хранилищ данных.
• SQL, хранимые процедуры, пользовательские функции.
• DBT, Python.
• Инструменты ETL/ELT: Snowpipe, AWS Glue, openflow, Fivetran.
• Практики CI/CD, Azure DevOps.
• Моделирование данных: OLTP, OLAP, Data Vault 2.0.
• Интеграция API, плоских файлов, реляционных баз данных, облачных сервисов.