Data Engineer (Middle / Senior)

REMOTE GLOBAL

Мы развиваем ИТ-продукт, который включает в себя масштабную WEB-платформу и интерактивного Telegram-бота / Mini App.

Наш стек: Python, Airflow 2+, dbt Core, ClickHouse, PostgreSQL, Docker, GitLab.

Продукт быстро растет, и сейчас мы ищем Data Engineer, который поможет нам масштабировать аналитическую инфраструктуру и сделать работу с данными быстрой и надежной.

Ваша главная задача — разрабатывать и поддерживать ETL/ELT-процессы, интегрировать новые источники данных, развивать хранилище на ClickHouse и обеспечивать аналитиков качественными данными для принятия решений.

Чем предстоит заниматься:

• Разрабатывать и поддерживать ETL/ELT-процессы на базе Airflow и dbt Core
• Интегрировать новые источники данных: PostgreSQL, внешние API и сервисы
• Развивать существующее хранилище данных на ClickHouse и поддерживать аналитические витрины
• Оптимизировать SQL-запросы и производительность пайплайнов
• Поддерживать и развивать инфраструктуру аналитической платформы (Docker, Airflow, dbt)
• Взаимодействовать с аналитиками для реализации новых витрин, метрик и источников данных
• Участвовать в расследовании инцидентов, связанных с качеством данных и работой пайплайнов
• Поддерживать техническую документацию и участвовать в передаче знаний внутри команды

Наши требования:

• Опыт на позиции инженера данных от трёх лет
• Уверенное знание SQL и опыт работы с аналитическими СУБД
• Практический опыт работы с ClickHouse: проектирование таблиц, выбор движков, партиционирование, оптимизация запросов