**Вакансия: **Аналитик данных **Грейд: **Senior **Компания: **JETLYN Формат: удаленно Локация: Россия Гражданство: #РФ Вилка ЗП: от 230 000 до 320 000 рублей на руки в месяц Условия оформления, формат: ТК/ИП

Сфера деятельности: телеком

🟡Основные задачи • Разработка, оптимизация и поддержка ETL/ELT-процессов для обработки больших объемов данных (100+ млн записей) • Проектирование и развитие хранилища данных (DWH): многомерные модели, «звёздная» схема, витрины данных • Оркестрация пайплайнов данных: создание и поддержка DAG-файлов в Apache Airflow, настройка расписаний и зависимостей • Интеграция данных из разнородных источников: реляционные БД, API, файловые системы, потоковые данные • Мониторинг и обеспечение надежности процессов: настройка алертов (Slack/почта), работа с Grafana/Prometheus • Оптимизация производительности: тюнинг Spark-задач, оптимизация Hive-запросов, управление ресурсами кластера • Взаимодействие с командами аналитики, разработки и бизнеса для формирования требований и передачи данных в производство

🟡Требования ‼️ Опыт работы: не менее 7 лет в области аналитики данных / инженерии данных, из них ≥3 лет — с Apache-стеком • Образование: высшее техническое (информатика, прикладная математика, ИТ) • Apache Spark: разработка и оптимизация скриптов на Scala/Python для обработки 100+ млн записей, понимание архитектуры Spark (executors, partitions, shuffle) • Apache Airflow: создание DAG-файлов для оркестрации задач (ежедневная выгрузка в HDFS), настройка алертов (Slack/почта), работа с сенсорами и операторами • Apache Dolphin: опыт интеграции с внешними API и БД через XML-конфигурации • Hadoop/Hive: написание оптимизированных Hive-запросов, настройка HDFS (партицирование, бакетирование, репликация, сжатие) • SQL: сложные запросы (JOIN, оконные функции, CTE, агрегации), оптимизация выполнения, понимание планов запросов • Мониторинг: настройка дашбордов в Grafana, интеграция с Prometheus, создание алертов для ETL-процессов • Интеграция данных: работа с разнородными источниками (БД, REST/SOAP API, CSV/JSON/XML-файлы), понимание форматов данных и протоколов передачи