Компания Top Selection**

🔥Мы в поиске** Дата инженера на проектную занятость **

**Грейд: middle+|**Senior Ставка: от 272К до 285К Гражданство/Локация: РФ **Загрузка: **фуллтайм Срок: долгосрочный Оформление: только ИП 📌

✅ Обязательные требования:

• Опыт работы в роли Data Engineer от 4-х лет;
• Опыт полного цикла создания данных: от проектирования пайплайнов и моделей до внедрения в production и мониторинга;
• Системное мышление, способность проектировать масштабируемые и отказоустойчивые решения, учитывающие объем, скорость и разнообразие данных;
• Навыки эффективной коммуникации с командами аналитики, бизнес-аналитиков, DevOps и разработки продуктов;
• Опыт проведения нагрузочных тестов DataLake-платформ;
• Практический опыт написания эффективных SQL-запросов для анализа и трансформации данных в StarRocks или аналогичных OLAP-системах (ClickHouse, Impala);
• Умение создавать и поддерживать таблицы, партиции, представления;
• Базовое понимание модели данных StarRocks (дублирующиеся/агрегатные таблицы) для реализации готовых решений;
• Опыт загрузки данных (через файлы, INSERT, использование простых коннекторов);
• Работа с HMS через Spark или Hive для создания/обновления таблиц, чтения метаданных. Понимание, для чего нужен каталог метаданных;
• Уверенная работа с Parquet, Iceberg, JSON, CSV. Понимание преимуществ колоночных форматов;
• Опыт написания DAG в Airflow (или аналоги) для планирования регулярных ETL-задач. Понимание принципов идемпотентности и перезапуска задач;
• Интеграция Data Ocean Nova с источниками данных (базы данных, BI-инструменты). Понимание архитектуры таких платформ (часто микросервисной на базе K8s);
• Понимание, как перечисленные компоненты взаимодействуют друг с другом в единой платформе. Например, как запрос из StarRocks через HMS получает метаданные таблиц, а Ranger проверяет права доступа;