Заголовок: Data Engineer Azure Databricks - Специалист по автоматизации ETL
Местоположение: Мехико / Мексика / Мехико, Мексика / Удаленно
¡Trabaja en DaCodes!
Мы — фирма экспертов в области программного обеспечения и цифровой трансформации с высоким влиянием.
В течение 10 лет мы создавали решения, ориентированные на технологии и инновации, благодаря нашей команде из почти 300 талантливых DaCoders, включая разработчиков, архитекторов, UX/UI дизайнеров, PM, QA-тестировщиков и других. Наша команда сотрудничает над проектами с клиентами из LATAM и США, добиваясь выдающихся результатов.
В DaCodes у вас будет возможность ускорить ваше профессиональное развитие, работать над разнообразными проектами в различных отраслях и вносить вклад в проектирование, внедрение и оптимизацию облачной инфраструктуры.
Наши DaCoders оказывают большое влияние на успех нашего бизнеса и наших клиентов. Вы станете экспертом, который будет участвовать в наших проектах и получит доступ к прорывным стартапам и мировым брендам.
Вам интересно?
Мы ищем Azure Data Engineer с опытом работы с Databricks и Azure Data Factory для интеграции в краткосрочный проект, ориентированный на автоматизацию и оптимизацию процессов интеграции данных.
Мы ищем человека с исполнительскими способностями, который сможет быстро интегрироваться в производственную среду и внести свой вклад в создание, автоматизацию и улучшение ETL-процессов в экосистеме Azure. Идеальный кандидат имеет практический опыт разработки конвейеров данных, обработки структурированных файлов и автоматизации потоков с использованием Azure Data Factory и Databricks.
Эта позиция ориентирована на профессионалов, которые любят решать задачи, связанные с интеграцией данных, операционной автоматизацией и эффективной обработкой информации, сотрудничая с техническими командами и бизнес-командами для обеспечения качества и доступности данных.
Требования
Основные обязанности
Проектирование, разработка и поддержка ETL-процессов с использованием Azure Data Factory и Databricks.
Внедрение конвейеров интеграции данных для приема и обработки файлов CSV, TXT, Excel и других источников информации.
Автоматизация процессов загрузки, трансформации и валидации данных.
Конфигурирование и администрирование заданий (Jobs) и рабочих процессов (Workflows) в Databricks для запланированного выполнения процессов.
Разработка трансформаций данных с использованием SQL и технологий экосистемы Databricks.
Мониторинг, диагностика и устранение неполадок, связанных с конвейерами и ETL-процессами.
Обеспечение качества, согласованности и целостности обрабатываемых данных.
Сотрудничество с техническими командами и заинтересованными сторонами для понимания требований к интеграции и автоматизации.
Участие в деятельности по оптимизации и постоянному совершенствованию процессов обработки данных.
Желаемый профиль
Опыт
5+ лет опыта работы на должностях Data Engineering, ETL Development или Data Integration.
Подтвержденный опыт работы с Azure Data Factory.
Практический опыт разработки решений с использованием Databricks.
Опыт внедрения ETL-процессов от начала до конца.
Опыт обработки и интеграции структурированных файлов и различных источников данных.
Технические знания
Обязательные
Azure Data Factory (ADF).
Azure Databricks.
Продвинутый SQL.
Разработка и автоматизация ETL-процессов.
Проектирование и поддержка конвейеров данных.
Интеграция и обработка файлов CSV, TXT и Excel.
Поиск и устранение неисправностей, а также мониторинг процессов обработки данных.
Python.
PySpark.
Желательные
Azure Data Lake Storage (ADLS).
Azure Blob Storage.
Git.
Оптимизация процессов трансформации данных.
Гибкие навыки
Аналитические способности и навыки решения проблем.
Автономность и ориентация на результат.
Эффективная коммуникация.
Внимание к деталям.
Проактивность.
Способность быстро интегрироваться в текущие проекты.
Организованность и эффективное управление приоритетами.
Дополнительные требования
Режим: Удаленный.
Местоположение: LATAM.
Уровень: Полу-старший или Старший.
Готовность быстро интегрироваться в проект.
Предыдущий опыт работы в облачных средах на базе Microsoft Azure.
Преимущества
Зарплатный диапазон 35–40 тыс. чистыми (Мексика) // 1800 USD в месяц. (LATAM)
🚀 Интеграция с мировыми брендами и прорывными стартапами.
🏡 Удаленная работа/Home office.
⏳ График работы, соответствующий рабочей группе/назначенному проекту.
📅 Работа с понедельника по пятницу.
🌎 Мультикультурные рабочие команды.
🏆 Возможности в рамках наших различных направлений бизнеса.
🏅 С гордостью сертифицированы как Great Place to Work.
