Middle/Middle+ Data Engineer (Python / PySpark / Airflow / dbt / Data Vault 2.0)

ID вакансии: 92467_SS Ставка: обсуждается. Грейд: Middle / Middle+. Загрузка: Full-time. Срок привлечения: 24 месяца с возможностью пролонгации. Формат: Удалённо. Часовой пояс: UTC+3 (МСК). Локация/Гражданство: РФ. ⏳ 🚨 СРОЧНО: Вакансия актуальна до 27.10 включительно до 17:00! 🚨 📌 Важно: рассматриваются кандидаты с релевантностью опыта от 85% (аутстаффинговая позиция). 🏢 О проекте: крупная розничная сеть. Построение, развитие и поддержка современных ETL-пайплайнов и корпоративного хранилища данных. 🧩 О роли: ищем уверенного Data Engineer, который станет надежным звеном в построении надежных и масштабируемых потоков данных. Роль предполагает работу с современным стеком (PySpark, Airflow, dbt), поддержку методологии Data Vault 2.0 и обеспечение высокого качества данных. 🚀 Ключевые задачи: — Создание и развитие ETL-пайплайнов с использованием Python и PySpark. — Поддержка и доработка DAG в Apache Airflow: анализ логов, устранение типовых сбоев, выполнение backfill. — Разработка dbt-моделей, а также сопутствующих тестов и документации. — Обслуживание сущностей Data Vault 2.0 (в части Satellite). — Взаимодействие с хранилищем S3 (через boto3) и реляционными/колоночными СУБД. — Выполнение базовых проверок качества данных: контроль NULL-значений, проверка уникальности ключей и корректности типов. — Фиксация технической метаданных в DataHub и отслеживание статуса пайплайнов в системах мониторинга. 🎯 Обязательные требования (Hard Skills): Опыт и языки (КРИТИЧНО!): — Не менее 2 лет опыта в роли Data Engineer. — Уверенное владение Python: синтаксис, основы ООП, написание ETL-скриптов с применением готовых библиотек, навыки отладки. — Знание PySpark: работа с DataFrames API, понимание разницы между Action и Transformation, базовые представления об архитектуре Spark. Базы данных и SQL (КРИТИЧНО!): — Навыки работы с SQL: построение JOIN, использование агрегаций и оконных функций, базовое понимание работы индексов. — Опыт работы с СУБД: PostgreSQL, ClickHouse, Greenplum, Oracle, MySQL (понимание реляционной модели и принципов ACID), базовые знания NoSQL. — Понимание различий между OLTP и OLAP, особенностей строковых и колоночных хранилищ, а также ключевых принципов Data Vault 2.0. Инструменты и оркестрация (КРИТИЧНО!): — Опыт в Airflow: настройка DAG, расписаний, операторов и сенсоров, работа с Connections и Variables, настройка ретраев и алертов. — Владение dbt: создание моделей, источников, использование refs и Jinja, настройка материализаций, seeds и тестов. — Работа с Git и GitLab CI: управление ветками, создание MR, участие в код-ревью, чтение конфигураций .gitlab-ci.yml. — Базовые навыки в Docker: составление Dockerfile, локальная сборка и запуск контейнеров. Мониторинг и качество: — Умение работать с инструментами мониторинга: чтение дашбордов в Grafana, Sentry, Kibana. 💡 Будет весомым плюсом: — Опыт работы с Data Vault 2.0 на практике (особенно Hub, Link, Satellite). — Понимание специфики retail-домена и больших объемов транзакционных данных.

📲 Контакт для отклика: контакт рекрутера (⚠️ ДЕДЛАЙН: 27.10 до 17:00! При отклике, пожалуйста, сразу присылайте актуальное резюме с акцентом на опыт работы с PySpark, Airflow, dbt и понимание Data Vault. Пишите ID вакансии: 92467_SS)