Data Engineer (Azure)

Название должности: Data Engineer (Azure)

Удаленная позиция. Зарплата: 35000–55000 USD в год. Тип занятости: Полная.

Описание вакансии

В роли Data Engineer у вас будет возможность поддерживать и далее развивать интеграционное решение на базе Azure, построенное в основном вокруг Azure Data Factory (ADF). Текущая среда включает Azure Functions и компоненты для инжестинга данных, но ежедневная работа в значительной степени сосредоточена на дизайне пайплайнов ADF, их оркестрации, мониторинге и постоянном улучшении. Проект направлен на расширение и стабилизацию существующей платформы данных, включая слой хранилища данных (Azure SQL Database или Synapse), опциональные трансформации на базе dbt и эпизодическую поддержку отчетности Power BI. Вы будете тесно сотрудничать с клиентским Product Owner и Архитектором, проактивно согласовывая бизнес-требования с техническими решениями и обеспечивая высокое качество масштабируемых решений. Кроме того, вы будете участвовать в CI/CD пайплайнах Azure DevOps и процессах релиза для поддержания надежных развертываний в различных средах.

Ваши основные обязанности

• Проектирование, разработка и поддержка пайплайнов Azure Data Factory, включая оркестрацию, параметризацию и управление триггерами.
• Конфигурирование и управление связанными сервисами и наборами данных в ADF.
• Мониторинг, устранение неполадок и оптимизация пайплайнов ADF для обеспечения производительности и надежности.
• Разработка и поддержка ETL/ELT процессов и поддержка развития слоя хранилища данных (Azure SQL Database или Synapse).
• Трансляция бизнес-требований в технические решения в тесном сотрудничестве с Product Owner и Архитектором.
• Разработка и поддержка Python-компонентов (например, Azure Functions, интеграции с API, скрипты автоматизации).
• Участие в CI/CD процессах в Azure DevOps, включая пайплайны, релизы и продвижение по средам.
• Поддержка эпизодических потребностей в отчетности и дашбордах Power BI.
• Обеспечение проактивной коммуникации, согласования с заинтересованными сторонами и прозрачности рисков и последствий.
• Ответственность за назначенные задачи и активный вклад в постоянное улучшение платформы.

Кто вы

Опыт и навыки, соответствующие роли Azure Data Engineer, с фокусом на проектирование и внедрение надежных решений по интеграции данных с использованием Azure Data Factory, Azure SQL/Synapse, Python-компонентов и CI/CD практик.

Технологический стек

Azure Data Factory (ADF) / Azure SQL Database или Synapse / Azure Functions / Python / dbt (опционально) / Power BI (поддержка) / Azure DevOps (CI/CD)

Описание команды

Сотрудничество с клиентским Product Owner и Архитектором для согласования бизнес-требований с техническими решениями и обеспечения высокого качества масштабируемых решений в рамках платформы данных на базе Azure.