Data Engineer / Дата инженер

Aston Data Engineer / Дата инженер Опыт работы: 3–6 лет Полная занятость График: 5/2 Формат работы: удалённо

☑️ Чем предстоит заниматься

• реализовывать высоконагруженные конвейеры обработки данных для обеспечения надежной и бесперебойной репликации данных из ИТ-систем
• реализовывать комплексные задачи по подготовке данных в целевых аналитических хранилищах (DataLake, SandBox, FeatureStore) для построения признаков, необходимых для разработки моделей машинного обучения
• разрабатывать и поддерживать в актуальном состоянии документацию по разработанному функционалу
• своевременно отражать статусы выполнения задач в Jira
• проверять качество кода, написанного инженерами данных

☑️ Наши пожелания к кандидатам

• опыт работы в роли Data Engineer от 4-х лет
• отличные знания Python: структуры данных и алгоритмов, ООП и функциональное программирование
• опыт написания модульных и интеграционных тестов, знание и опыт применения NumPy, Pandas
• опыт разработки и внедрения в промышленную эксплуатацию сервисов загрузки и обработки неструктурированных данных (текст, xml, json) из внешних источников
• способность разобраться с API поставщиков данных, используя доступную документацию
• отличное знание SQL: сложные запросы с использованием аналитических оконных функций, инструменты профилирования для оптимизации их производительности
• опыт работы с БД Oracle, Postgres, Greenplum
• опыт работы с инструментами разработки, планирования и мониторинга рабочих процессов (workflow engines) пакетной обработки данных Airflow
• опыт разработки сложных, высоконагруженных приложений обработки данных на основе PySpark
• опыт работы с Apache Kafka: продюсеры/консьюмеры на Python, consumer groups
• опыт разработки сервисов потоковой обработки данных с использованием инструментов Spark Structured Streaming, Flink
• опыт работы с Flink

Контакты: контакт рекрутера