Title: Data Engineer
Location: Kyiv / ua / Remote
Обязанности
- Проектирование и разработка масштабируемых и надежных платформ данных и/или конвейеров данных для аналитических и операционных сценариев использования
- Проектирование и реализация рабочих процессов обработки данных с использованием распределенных фреймворков обработки, таких как Apache Spark/pySpark (Databricks)
- Участие в развитии облачной платформы данных организации с использованием технологий Azure (например, Azure Data Factory, Synapse, Microsoft Fabrik, Databricks, Event Hub, Azure Data Lake Storage)
- Глубокие знания в области моделирования данных для поддержки аналитики, отчетности и последующего потребления данных
- Интеграция и обработка данных из нескольких внутренних и внешних источников, обеспечивая согласованность, качество и надежность данных
- Ответственность за надежность, мониторинг и производительность конвейеров данных, обеспечивая масштабируемые и поддерживаемые рабочие процессы обработки данных
- Сотрудничество с аналитиками данных, специалистами по данным и инженерными командами для преобразования бизнес-требований и аналитических требований в надежные решения для работы с данными
- Содействие улучшениям в практике инжиниринга данных, включая стандарты проектирования конвейеров, подходы к тестированию и эксплуатационную надежность
- Участие в оценке и внедрении новых инструментов и технологий в экосистеме инжиниринга данных
Требования к квалификации
- Значительный практический опыт (4+ года) в области инжиниринга данных или построения платформ обработки данных
- Отличные навыки SQL и солидный опыт работы с Python для создания и поддержки конвейеров данных
- Опыт работы с распределенными фреймворками обработки данных, такими как Apache Spark/pySpark (опыт работы с Databricks является значительным преимуществом)
- Практический опыт проектирования и реализации конвейеров данных в облачных средах, предпочтительно в экосистеме Azure
- Опыт проектирования конвейеров данных и моделей данных для аналитических систем в производственном масштабе
- Глубокое понимание концепций инжиниринга данных, включая проектирование ETL/ELT, дименсиональное моделирование и принципы построения хранилищ данных
- Опыт работы с современными архитектурами озер данных и форматами данных, такими как Parquet и JSON
- Опыт работы с инструментами оркестрации рабочих процессов (например, Airflow)
- Опыт разработки баз данных и оптимизации производительности
- Способность проектировать масштабируемые и поддерживаемые решения для работы с данными с минимальным надзором
- Отличные навыки сотрудничества и коммуникации
- Профессиональное владение английским языком
Желательно
- Опыт работы с современными облачными хранилищами данных, такими как Snowflake, BigQuery или Redshift
- Опыт работы с технологиями потоковой передачи данных (например, Event Hub, Kafka, Spark Streaming)
- Опыт работы с Delta Lake или другими технологиями lakehouse
- Знакомство с практиками CI/CD и рабочими процессами разработки на основе Git
- Опыт работы в гибких средах разработки
Мы ищем инженера данных, который поможет проектировать и создавать масштабируемые платформы данных, поддерживающие аналитику, отчетность и принятие решений на основе данных во всей организации. На этой должности вы будете разрабатывать надежные конвейеры данных, участвовать в развитии нашей облачной платформы данных и обеспечивать надежную и эффективную обработку данных в различных проектах и командах.
