Middle+ / Senior Data Engineer (Python / Spark / Airflow / dbt / Data Vault 2.0)

ID вакансии: 92465_SS Ставка: обсуждается. Грейд: Middle+ / Senior. Загрузка: Full-time (полная занятость). Срок привлечения: 24 месяца с возможностью пролонгации. Формат: Удалённо. Часовой пояс: UTC+3 (МСК). Локация/Гражданство: РФ / РФ. ⏳ 🚨 СРОЧНО: Вакансия актуальна до 27.10 включительно до 17:00! 🚨 📌 Важно: рассматриваются кандидаты с релевантностью опыта от 85% (аутстаффинговая позиция). 🏢 О проекте: крупная розничная сеть. Построение, развитие и оптимизация продвинутых ETL/ELT-пайплайнов, внедрение методологии Data Vault 2.0 и современных практик Data Engineering (Data Contracts, Semantic Layer, DQ-фреймворки). 🧩 О роли: ищем зрелого Data Engineer, способного не только писать качественный код, но и проектировать архитектуру хранения данных, глубоко оптимизировать Spark-задачи, выстраивать надежные CI/CD-процессы и внедрять передовые инженерные практики в масштабах крупного ритейла. 🚀 Ключевые задачи: — Создание и развитие Spark-пайплайнов, включая работу с Structured Streaming. — Проектирование модульных и динамических DAG в Airflow: разработка кастомных операторов, сенсоров и хуков. — Построение слоистой модели в dbt (staging, intermediate, marts): реализация incremental-моделей, снимков (snapshots), макросов, настройка Slim CI. — Проектирование структур Data Vault 2.0 (Hub, Link, Satellite) под новые источники данных. — Выбор архитектуры и форматов хранения данных (Parquet, Iceberg), проектирование схем с учётом ожидаемой нагрузки. — Настройка CI/CD-процессов в GitLab (окружения dev, stage, prod; работа с runners и механизмом approvals). — Внедрение DQ-фреймворков (например, Great Expectations), настройка метрик качества данных и алертов. — Развитие Semantic Layer (Cube, MetricFlow) и выстраивание lineage в DataHub. — Составление и контроль дата-контрактов. 🎯 Обязательные требования (Hard Skills): Опыт и языки (КРИТИЧНО!): — Опыт в data-инжиниринге от 4 лет. — Уверенное владение Python: ООП, асинхронность, многопоточность, типизация, умение писать тесты и проводить профилирование кода. Big Data и Базы данных (КРИТИЧНО!): — Продвинутые навыки работы со Spark: оптимизация и тюнинг задач, анализ планов выполнения и логов. — Глубокое понимание SQL: работа с EXPLAIN и планами выполнения запросов, настройка индексов, знание особенностей разных движков СУБД. — Навыки администрирования СУБД: партиционирование, шардирование, репликация, настройка бэкапов и миграций, понимание механизмов блокировок и уровней изоляции транзакций. Инструменты и оркестрация (КРИТИЧНО!): — Опыт работы с Airflow на прикладном уровне: использование XCom, настройка пулов и SLA, работа с KubernetesPodOperator. — Высокий уровень владения dbt. — Практический опыт с Kubernetes и Docker: умение оптимизировать контейнерные образы. — Работа с S3: настройка lifecycle-правил и управление версионированием объектов. Процессы и мониторинг: — Навыки эффективной работы с Git: владение командами rebase и cherry-pick, организация версионирования релизов. — Умение создавать дашборды и настраивать алерты в Grafana или аналогичных инструментах. 💡 Будет весомым плюсом: — Опыт внедрения и поддержки Data Vault 2.0 на практике. — Опыт работы с форматами данных нового поколения (Iceberg, Delta Lake). — Понимание специфики retail-домена и работы с большими объемами транзакционных данных.

📲 Контакт для отклика: контакт рекрутера (⚠️ ДЕДЛАЙН: 27.10 до 17:00! При отклике, пожалуйста, сразу присылайте актуальное резюме с акцентом на опыт оптимизации Spark, продвинутое владение dbt/Airflow и понимание Data Vault. Пишите ID вакансии: 92465_SS)

📢 Источник: