Data Engineer (Middle / Senior)

Data Engineer (Middle / Senior)

REMOTE GLOBAL

Мы развиваем ИТ-продукт, который включает в себя масштабную WEB-платформу и интерактивного Telegram-бота / Mini App.

Наш стек: Python, Airflow 2+, dbt Core, ClickHouse, PostgreSQL, Docker, GitLab.

Продукт быстро растет, и сейчас мы ищем Data Engineer, который поможет нам масштабировать аналитическую инфраструктуру и сделать работу с данными быстрой и надежной.

Ваша главная задача — разрабатывать и поддерживать ETL/ELT-процессы, интегрировать новые источники данных, развивать хранилище на ClickHouse и обеспечивать аналитиков качественными данными для принятия решений.

Чем предстоит заниматься:

• Разрабатывать и поддерживать ETL/ELT-процессы на базе Airflow и dbt Core
• Интегрировать новые источники данных: PostgreSQL, внешние API и сервисы
• Развивать существующее хранилище данных на ClickHouse и поддерживать аналитические витрины
• Оптимизировать SQL-запросы и производительность пайплайнов
• Поддерживать и развивать инфраструктуру аналитической платформы (Docker, Airflow, dbt)
• Взаимодействовать с аналитиками для реализации новых витрин, метрик и источников данных
• Участвовать в расследовании инцидентов, связанных с качеством данных и работой пайплайнов
• Поддерживать техническую документацию и участвовать в передаче знаний внутри команды

Наши требования:

• Опыт на позиции инженера данных от трёх лет
• Уверенное знание SQL и опыт работы с аналитическими СУБД
• Практический опыт работы с ClickHouse: проектирование таблиц, выбор движков, партиционирование, оптимизация запросов
• Опыт разработки и поддержки ETL/ELT-процессов: способность самостоятельно выбирать способ интеграции источника данных, проектировать структуру загрузки, хранение и обновление данных с учетом требований бизнеса и технических ограничений
• Опыт работы с Apache Airflow 2+: разработка, поддержка и отладка DAG'ов, понимание механизмов планирования, зависимостей и мониторинга пайплайнов
• Опыт работы с dbt Core
• Хорошее знание Python: умение разбираться в существующем коде, дорабатывать и разрабатывать новые компоненты интеграций и пайплайнов
• Опыт работы с PostgreSQL и понимание особенностей инкрементальных выгрузок данных
• Опыт интеграции внешних REST API
• Понимание принципов контейнеризации и опыт работы с Docker / Docker Compose
• Умение самостоятельно декомпозировать задачи и доводить их до результата

Будет плюсом:

• Опыт работы с Airflow 3+
• Опыт работы с BigQuery
• Опыт работы с Google Analytics / GA4
• Опыт работы с облачными платформами (GCP, Yandex Cloud, AWS)
• Понимание базовых принципов работы блокчейн-сетей и транзакционных данных
• Опыт использования AI-инструментов для разработки и сопровождения кода

Формат работы: удаленно Часовой пояс: MSK

Присылайте резюме: katyacheresh