Мы ищем опытного Senior Data Engineer для проектирования, создания и поддержки современных платформ данных и производственных конвейеров данных с использованием Snowflake, Apache Airflow, Python и AWS. Вы будете работать на всех этапах полного жизненного цикла инженерии данных — от сбора и моделирования данных до трансформации, тестирования, развертывания, мониторинга и производственной поддержки. Вы будете сотрудничать с межфункциональными командами, чтобы превращать сложные требования к данным в надежные, масштабируемые и хорошо управляемые решения для данных.
Местоположение:
Quantori — это международная команда: у нас есть коллеги, которые работают не только из офиса, но и удаленно со всего мира.
Обязанности:
- Проектирование, разработка и поддержка производственных конвейеров данных с использованием Python, Apache Airflow, Snowflake и Amazon S3
- Проектирование и развитие масштабируемых архитектур данных, включая уровни данных Bronze, Silver и Gold
- Разработка моделей данных и реализация инкрементальной загрузки, историзации, версионирования и повторно используемых шаблонов трансформации
- Написание и оптимизация сложных SQL-преобразований, представлений, хранимых процедур, динамических таблиц, потоков, задач и запланированных заданий
- Интеграция данных из реляционных баз данных, API, объектных хранилищ и файловых источников
- Внедрение проверок качества данных, валидации, сверки, отслеживания происхождения данных, мониторинга и надежных процессов обработки ошибок
- Управление элементами управления доступом Snowflake, ролями, разрешениями, учетными записями служб и развертыванием в средах разработки, тестирования и производства
- Поддержка CI/CD конвейеров для объектов Snowflake, DAG Airflow и кода Python с использованием Git и автоматизированного тестирования
- Мониторинг и устранение неполадок производственных конвейеров и проактивное повышение надежности и производительности
- Сотрудничество с командами по данным, аналитике, инженерии и другими техническими командами для преобразования бизнес- и технических требований в надежные продукты данных
- Создание технической документации и спецификаций в соответствии с установленными стандартами качества и соответствия требованиям
Что мы ожидаем:
- Опыт работы в Data Engineering более 5 лет, включая не менее 3 лет работы с производственными платформами данных
- Опыт работы с Snowflake, включая моделирование данных, RBAC и управление доступом, управление складом данных, профилирование запросов и оптимизацию производительности, хранимые процедуры
- Продвинутые навыки SQL, включая сложные соединения, CTE, оконные функции, инкрементальную обработку и оптимизацию запросов
- Сильные навыки Python для ETL, интеграции баз данных, автоматизации, обработки ошибок и тестирования
- Опыт работы с Apache Airflow в производственной среде, включая разработку DAG, зависимости, сенсоры, группы задач, повторные попытки, повторные запуски и операционную поддержку
- Опыт работы с реляционными базами данных, объектными хранилищами, API и файловыми источниками данных
- Глубокое понимание современных архитектур данных, включая медальонное и размерное моделирование, медленно меняющиеся измерения, естественные и суррогатные ключи, а также историзацию
- Опыт работы с Git, pull requests, автоматизированным тестированием и CI/CD для конвейеров данных и кода баз данных
- Сильные навыки решения проблем и способность самостоятельно работать в производственной среде
- Snowflake и Apache Airflow являются основными требованиями для этой роли; опыт работы только с альтернативными хранилищами данных или инструментами оркестрации не будет достаточным
Приветствуется:
- Опыт работы в регулируемых или валидированных средах
- Опыт работы с данными в области наук о жизни, здравоохранения, клинических, лабораторных, геномных или биоинформатических данных
- Опыт работы с LIMS или другими научными/клиническими системами данных
- Знакомство с OMOP или другими стандартизированными клиническими моделями данных
- Опыт работы с инструментами потребления и визуализации данных, такими как Tableau или Streamlit
- Знакомство с научными или вычислительными рабочими процессами и инструментами, такими как Nextflow или аналогичными платформами оркестрации рабочих процессов
- Сертификация SnowPro
- Опыт работы с AWS Managed Workflows for Apache Airflow (MWAA)
Мы предлагаем:
- Конкурентоспособная заработная плата
- Удаленная работа
- Гибкий график работы
- Команда с отличной технической экспертизой
Если вы не видите открытой вакансии, соответствующей вашему стеку навыков и/или профессиональному опыту, но заинтересованы в работе с нами — отправьте свое резюме на career@quantori.com. Мы постараемся найти для вас что-то особенное и интересное!
