Старший Data Engineer - Snowflake & Airflow
Мы ищем опытного Старшего Data Engineer для проектирования, создания и обслуживания современных платформ данных и производственных конвейеров данных с использованием Snowflake, Apache Airflow, Python и AWS. Вы будете работать на протяжении всего жизненного цикла инжиниринга данных — от сбора и моделирования данных до их трансформации, тестирования, развертывания, мониторинга и поддержки в производственной среде. Вы будете сотрудничать с кросс-функциональными командами, чтобы превращать сложные требования к данным в надежные, масштабируемые и хорошо управляемые решения для данных.
Местоположение: Quantori — это международная команда: у нас есть коллеги, которые работают не только из офиса, но и удаленно со всего мира.
Обязанности:
- Проектирование, разработка и поддержка производственных конвейеров данных с использованием Python, Apache Airflow, Snowflake и Amazon S3
- Проектирование и развитие масштабируемых архитектур данных, включая уровни данных Bronze, Silver и Gold
- Разработка моделей данных и реализация инкрементальной загрузки, историзации, версионирования и повторно используемых паттернов трансформации
- Написание и оптимизация сложных SQL-преобразований, представлений (views), хранимых процедур (stored procedures), динамических таблиц (dynamic tables), потоков (streams), задач (tasks) и запланированных заданий (scheduled jobs)
- Интеграция данных из реляционных баз данных, API, объектных хранилищ и файловых источников
- Внедрение проверок качества данных, валидации, сверки, отслеживания происхождения данных (lineage), мониторинга и надежных процессов обработки ошибок
- Управление элементами управления доступом Snowflake, ролями, разрешениями, сервисными учетными записями и развертыванием в средах разработки, тестирования и производства
- Поддержка CI/CD конвейеров для объектов Snowflake, DAGs Airflow и кода Python с использованием Git и автоматизированного тестирования
- Мониторинг и устранение неполадок производственных конвейеров и проактивное повышение надежности и производительности
- Сотрудничество с командами по работе с данными, аналитикой, инженерии и другими техническими командами для преобразования бизнес-требований и технических требований в надежные продукты данных
- Создание технической документации и спецификаций в соответствии с установленными стандартами качества и соответствия требованиям
Что мы ожидаем:
- Опыт работы в Data Engineering более 5 лет, включая не менее 3 лет работы с производственными платформами данных
- Глубокий практический опыт работы с Snowflake, включая моделирование данных, RBAC и управление доступом, управление Warehouse, профилирование запросов и оптимизацию производительности, хранимые процедуры
- Продвинутые навыки SQL, включая сложные соединения (joins), CTE, оконные функции (window functions), инкрементальную обработку и оптимизацию запросов
- Сильные навыки Python для ETL, интеграции с базами данных, автоматизации, обработки ошибок и тестирования
- Производственный опыт работы с Apache Airflow, включая разработку DAG, зависимости, сенсоры (sensors), группы задач (task groups), повторные попытки (retries), заполнение пропущенных данных (backfills) и операционную поддержку
- Опыт работы с реляционными базами данных, объектными хранилищами, API и файловыми источниками данных
- Глубокое понимание современных архитектур данных, включая медалионную и реляционную модели (dimensional modeling), медленно меняющиеся измерения (slowly changing dimensions), естественные и суррогатные ключи, а также историзацию
- Опыт работы с Git, pull requests, автоматизированным тестированием и CI/CD для конвейеров данных и кода баз данных
- Сильные навыки решения проблем и способность работать самостоятельно в производственной среде
- Snowflake и Apache Airflow являются основными требованиями для этой роли; опыт работы только с альтернативными хранилищами данных или инструментами оркестрации не будет достаточным
Желательно:
- Опыт работы в регулируемых или валидированных средах
- Опыт работы с данными в области наук о жизни, здравоохранения, клинических данных, лабораторных данных, геномики или биоинформатики
- Опыт работы с LIMS или другими научными/клиническими системами данных
- Знакомство с OMOP или другими стандартизированными моделями клинических данных
- Опыт работы с инструментами потребления и визуализации данных, такими как Tableau или Streamlit
- Знакомство с научными или вычислительными рабочими процессами и инструментами, такими как Nextflow или аналогичные платформы оркестрации рабочих процессов
- Сертификация SnowPro
- Опыт работы с AWS Managed Workflows for Apache Airflow (MWAA)
Мы предлагаем:
- Конкурентоспособная компенсация
- Удаленная работа
- Гибкий рабочий график
- Команда с отличной технической экспертизой
