Инженер данных DWH в Путешествия Company: Путешествия

Наша команда превращает терабайты данных в инсайты для аналитиков Яндекс Путешествий. Приходите к нам, если проектировали DWH (слои, модели хранения данных, ETL-процессы), знаете устройство реляционных БД, знакомы с Apache Airflow или аналогами и пишете на ЯП высокого уровня (Python, Go, Java).

Наша команда превращает терабайты данных в понятные и полезные инсайты, которые используют аналитики и сервис, помогающий миллионам людей путешествовать. Продукт растёт огромными темпами, и вместе с ним растут наши задачи — поэтому мы постоянно развиваем собственное DWH.

Хранилище у нас построено на системах хранения данных YTsaurus (кластер MapReduce собственной разработки) и ClickHouse. Для разработки, оркестрации и мониторинга ETL-процессов используется собственный фреймворк, созданный внутри Яндекса. Для организации модели хранения данных на разных уровнях применяются различные методологии проектирования хранилищ данных: Lambda-архитектура, Data Lake, Data Vault.