Data Engineer

Data Engineer алматы Зп от 1,2 млн и выше

Обязанности

• Разработка и сопровождение ETL/ELT-пайплайнов на Python и Apache Airflow.
• Разработка и оптимизация SQL-запросов в Greenplum.
• Построение потоковой обработки данных с использованием Apache Kafka.
• Интеграция данных из различных источников: БД, REST API, файловые системы.
• Разработка REST API и микросервисов на FastAPI.
• Проектирование структур данных, витрин и моделей хранения в DWH.
• Оптимизация производительности загрузки и обработки больших объёмов данных.
• Настройка мониторинга, логирования и обработки ошибок в пайплайнах.
• Обеспечение качества, целостности и актуальности данных.

Требования

• Опыт работы Data Engineer от 3 лет.
• Уверенное знание Python (обработка данных, интеграции, автоматизация).
• Продвинутый SQL: сложные запросы, оконные функции, CTE, оптимизация.
• Практический опыт работы с Greenplum или PostgreSQL.
• Опыт разработки DAG в Apache Airflow.
• Понимание принципов работы Apache Kafka: topics, partitions, consumer groups, offsets.
• Опыт разработки REST API на FastAPI.
• Понимание архитектуры DWH, ETL/ELT и принципов построения Data Pipelines.
• Опыт работы с Git и Linux.

Мы предлагаем:

• ДМС
• Внешнее обучение
• Компенсация за фитнес
• Скидки, бонусы от компаний, входящих в холдинг

Telegram: контакт рекрутера