Используем cookie для работы сайта и статистики. «Хорошо» разрешит ещё и запись сессий.
УУмная Логистика
3 часа назад
Грейд
Middle
Опыт работы
1-3 лет
Формат работы
Удалённо, Гибрид, Офис
Тип занятости
Полная занятость
Письмо на почту или сообщение рекрутеру в Telegram
Умная Логистика Middle Data Engineer Опыт работы: 1–3 года Полная занятость График: 5/2 Формат работы: удалённо или гибрид или офис
-Развитие DWH и Data Lake: Участие в проектировании и наполнении аналитических слоев данных на базе S3, PostgreSQL и ClickHouse -Разработка пайплайнов обработки данных: Написание и поддержка ETL/ELT-пайплайнов с использованием Apache Spark (PySpark) и Python -Оркестрация процессов: Создание, оптимизация и мониторинг регулярных DAG'ов в Apache Airflow -Подготовка витрин для BI: Проектирование и поставка агрегированных данных под задачи продуктовой и бизнес-аналитики в Apache Superset -Интеграция источников: Сбор данных из микросервисов, очередей сообщений и внешних API (телематика, скоринг контрагентов, картографические сервисы) -Контроль качества и оптимизация: Валидация входящих данных, мониторинг выполнения пайплайнов, профилирование и ускорение аналитических запросов в ClickHouse и PostgreSQL
-Коммерческий опыт работы в роли Data Engineer или DWH-разработчика от 1.5 лет -Уверенное владение SQL: Сложные агрегаты, оконные функции, CTE, оптимизация и чтение планов выполнения (EXPLAIN) -Опыт работы с Apache Airflow: Уверенная разработка DAG'ов, работа с кастомными и стандартными операторами, понимание принципов идемпотентности и бэкфилов -Практика работы с СУБД и хранилищами: -PostgreSQL (реляционное моделирование, индексы, транзакции) -ClickHouse (семейство движков MergeTree, специфика колоночного хранения) -S3-совместимые хранилища (организация структуры каталогов, работа с форматами Parquet/ORC) -Уверенный Python: Написание чистого, структурированного кода для задач обработки данных -Базовое понимание специфики подготовки данных для BI-инструментов (в частности, для Apache Superset) -Навыки работы с Git, Docker и Linux-окружением
-Опыт работы с брокерами сообщений (Apache Kafka / RabbitMQ) -Опыт работы с dbt (data build tool) или инструментами валидации данных (Great Expectations, Pandera) -Опыт настройки подключений, дашбордов или семантического слоя в Apache Superset -Понимание логистического или B2B SaaS-домена
Умная Логистика Middle Data Engineer Опыт работы: 1–3 года Полная занятость График: 5/2 Формат работы: удалённо или гибрид или офис
☑️ Чем предстоит заниматься -Развитие DWH и Data Lake: Участие в проектировании и наполнении аналитических слоев данных на базе S3, PostgreSQL и ClickHouse -Разработка пайплайнов обработки данных: Написание и поддержка ETL/ELT-пайплайнов с использованием Apache Spark (PySpark) и Python -Оркестрация процессов: Создание, оптимизация и мониторинг регулярных DAG'ов в Apache Airflow -Подготовка витрин для BI: Проектирование и поставка агрегированных данных под задачи продуктовой и бизнес-аналитики в Apache Superset -Интеграция источников: Сбор данных из микросервисов, очередей сообщений и внешних API (телематика, скоринг контрагентов, картографические сервисы) -Контроль качества и оптимизация: Валидация входящих данных, мониторинг выполнения пайплайнов, профилирование и ускорение аналитических запросов в ClickHouse и PostgreSQL
☑️ Наши пожелания к кандидатам -Коммерческий опыт работы в роли Data Engineer или DWH-разработчика от 1.5 лет -Уверенное владение SQL: Сложные агрегаты, оконные функции, CTE, оптимизация и чтение планов выполнения (EXPLAIN) -Опыт работы с Apache Airflow: Уверенная разработка DAG'ов, работа с кастомными и стандартными операторами, понимание принципов идемпотентности и бэкфилов -Практика работы с СУБД и хранилищами: -PostgreSQL (реляционное моделирование, индексы, транзакции) -ClickHouse (семейство движков MergeTree, специфика колоночного хранения) -S3-совместимые хранилища (организация структуры каталогов, работа с форматами Parquet/ORC) -Уверенный Python: Написание чистого, структурированного кода для задач обработки данных -Базовое понимание специфики подготовки данных для BI-инструментов (в частности, для Apache Superset) -Навыки работы с Git, Docker и Linux-окружением -Будет плюсом: -Опыт работы с брокерами сообщений (Apache Kafka / RabbitMQ) -Опыт работы с dbt (data build tool) или инструментами валидации данных (Great Expectations, Pandera) -Опыт настройки подключений, дашбордов или семантического слоя в Apache Superset -Понимание логистического или B2B SaaS-домена
Контакты:
Сравним навыки, грейд, формат работы и зарплату
Чаще всего от 2 550 до 3 460