senior data engineer

Должность: senior data engineer Компания: АО "НИТ" Город: Астана Занятость: оффлайн Оплата: 900000-1200000

Оператор информационно-коммуникационной инфраструктуры «электронного правительства» Республики Казахстан

Описание вакансии: Практический опыт эксплуатации Apache Airflow, Spark (PySpark), ClickHouse и PostgreSQL в промышленной среде. Знание Trino и Apache Iceberg будет преимуществом. Уверенное владение Python и продвинутый уровень SQL, включая индексацию и анализ планов выполнения запросов. Опыт работы в области Data Engineering от 3 лет, включая разработку сквозных конвейеров обработки данных и аналитических витрин.

Уверенный опыт работы с dbt для трансформации, тестирования и моделирования данных. Проектирование, разработка и сопровождение ETL/ELT-процессов с использованием Python и Apache Airflow. Разработка распределённых процессов пакетной обработки данных с использованием Apache Spark (PySpark), Trino и Apache Iceberg. Проектирование, построение и оптимизация аналитических витрин данных в ClickHouse и PostgreSQL с использованием dbt. Организация загрузки данных из реляционных баз данных, брокеров сообщений и внешних REST API. Анализ и оптимизация производительности SQL-запросов, партиционирования таблиц и хранения данных. Внедрение автоматизированных проверок качества данных, механизмов оповещения и процессов CI/CD для развертывания решений.

Официальное трудоустройство Ежегодный трудовой отпуск + 2 оклада Профессиональный рост и развитие Участие в архитектурных решениях График работы: 5/2, с 08:00 до 17:30 Место работы: г. Астана, EXPO C2.3

Контакты: Whatsapp +77086299795