Data Engineer (Python/PySpark)

Заголовок: Инженер по данным (Python/PySpark) Местоположение: Бангалор - Белландр (GTP)

Местоположение: Бангалор - Белландр (GTP) Занятость: Полная Обзор вакансии Synechron ищет инженера по данным с опытом работы более 5 лет в создании витрин данных, ETL-конвейеров и решений для обработки больших данных. На этой должности предстоит разрабатывать надежные продукты данных с использованием Python, PySpark, SQL и технологий хранения данных, поддерживая полный цикл разработки программного обеспечения. Требования к программному обеспечению Обязательно Python: более 5 лет опыта разработки. PySpark/Spark: более 3 лет опыта. Oracle SQL: более 3 лет, включая оптимизацию запросов и анализ данных. Pandas и Jupyter Notebook. Разработка ETL и хранилища данных. Hadoop, Hive и MapReduce. Базы данных SQL и NoSQL. Git, инструменты CI/CD, автоматизированное тестирование и проверка данных. Опыт поддержки разработки, приемочного тестирования пользователями (UAT), развертывания в производственной среде и решения производственных проблем. Предпочтительно Облачные платформы данных. Инструменты оркестрации рабочих процессов. Инструменты качества и мониторинга данных. Опыт работы с банковскими или финансовыми данными. Общие обязанности Проектирование, разработка и поддержка масштабируемых ETL-конвейеров с использованием Python и PySpark. Создание и оптимизация витрин данных и процессов преобразования. Обработка структурированных, полуструктурированных и неструктурированных данных. Анализ и устранение проблем с данными с использованием Oracle SQL, PySpark и методов анализа данных. Поддержка разработки, тестирования, UAT, развертывания и производственных операций. Взаимодействие с командами разработки, QA, бизнеса и эксплуатации. Применение стандартов кодирования, методов тестирования и процессов CI/CD. Повышение качества данных, производительности конвейеров, надежности и удобства сопровождения. Технические навыки (по категориям) Языки программирования Основные: Python, PySpark, Spark, SQL и Pandas. Предпочтительные: Scala или другой язык обработки данных. Базы данных и управление данными Основные: Oracle, базы данных SQL и NoSQL, витрины данных, хранилища данных, ETL, проверка данных и оптимизация запросов. Предпочтительные: моделирование данных, секционирование, индексирование, управление метаданными и фреймворки качества данных. Облачные технологии Основные: Понимание распределенных сред данных и производственных платформ данных. Предпочтительные: Опыт работы с облачными хранилищами, вычислительными ресурсами, управляемыми сервисами Spark и облачными хранилищами данных. Фреймворки и библиотеки Основные: PySpark, Apache Spark, Pandas, Hadoop, Hive, MapReduce и Jupyter Notebook. Предпочтительные: Оркестрация рабочих процессов, потоковая обработка и фреймворки качества данных. Инструменты разработки и методологии Основные: Git, CI/CD, Agile-доставка, ревью кода, автоматизированное тестирование, отладка, развертывание и поддержка в производственной среде. Предпочтительные: Инфраструктура как код, мониторинг, оповещение и автоматизированное управление релизами. Протоколы безопасности Основные: Безопасное обращение с данными, управление доступом, управление секретами, шифрование и практики конфиденциальности данных. Предпочтительные: Опыт работы с аудиторским контролем и регулируемыми средами данных. Требования к опыту Более 5 лет опыта в инженерии данных или разработке программного обеспечения. Подтвержденный опыт разработки ETL-конвейеров, витрин данных и решений для обработки больших данных. Опыт работы с Python, PySpark, Spark, SQL, Oracle, Hadoop и Hive. Опыт поддержки полного SDLC, включая UAT, развертывание, исправление ошибок и поддержку в производственной среде. Опыт работы в банковской или финансовой сфере является предпочтительным. Может быть учтен эквивалентный опыт в разработке данных, инженерии аналитики, платформенной инженерии или поддержке производственных данных. Повседневные задачи Разработка и улучшение конвейеров данных на Python и PySpark. Создание витрин данных и оптимизация преобразований и SQL-запросов. Исследование проблем качества данных и сбоев конвейеров. Анализ логов, результатов заданий, записей в базе данных и метрик производительности. Создание модульных, интеграционных и проверочных тестов данных. Поддержка UAT, развертываний, релизов и инцидентов в производственной среде. Участие в планировании, обсуждении требований, ревью кода, сортировке дефектов и ретроспективах. Документирование потоков данных, технических решений, процедур поддержки и известных проблем. Рекомендация улучшений в проектировании конвейеров, производительности, тестировании и надежности. Квалификация Степень бакалавра в области компьютерных наук, информационных технологий, инженерии или смежной области, или эквивалентный практический опыт. Сертификаты в области инженерии данных, облачных технологий, баз данных или технологий больших данных являются предпочтительными. Прохождение обучения Synechron по безопасности, защите данных, SDLC и операционным процедурам. Поддержание актуальных знаний по Python, Spark, архитектуре данных, облачным платформам, качеству данных и инженерным практикам. Профессиональные компетенции Структурированное решение проблем и исследование данных. Способность анализировать сложные проблемы с данными и выявлять первопричины. Четкое общение с техническими и бизнес-стейкхолдерами. Эффективное взаимодействие между командами разработки, QA, продукта и эксплуатации. Способность приоритизировать задачи разработки, поддержки и производственные задачи. Приверженность качеству, документации, тестированию и сопровождению кода. Готовность изучать новые технологии данных и улучшать существующие процессы. ЗАЯВЛЕНИЕ SYNECHRON О РАЗНООБРАЗИИ И ИНКЛЮЗИВНОСТИ Разнообразие и инклюзивность являются основой нашей культуры, и Synechron гордится тем, что является равным работодателем и работодателем, применяющим позитивные дискриминационные меры. Наша инициатива в области разнообразия, справедливости и инклюзивности (DEI) «Same Difference» направлена на формирование инклюзивной культуры — продвижение равенства, разнообразия и уважительной среды для всех. Мы твердо верим, что разнообразный кадровый состав способствует созданию более сильных и успешных компаний как глобальной организации. Мы поощряем кандидатов из различных слоев общества, независимо от расы, этнической принадлежности, религии, возраста, семейного положения, пола, сексуальной ориентации или инвалидности, подавать заявки. Мы расширяем возможности нашей глобальной рабочей силы, предлагая гибкие условия труда, наставничество, внутреннюю мобильность, программы обучения и развития и многое другое. Все кадровые решения в Synechron основываются на потребностях бизнеса, требованиях к работе и индивидуальной квалификации, независимо от пола кандидата, его гендерной идентичности, сексуальной ориентации, расы, этнической принадлежности, наличия инвалидности или статуса ветерана, или любой другой характеристики, защищенной законом. Уведомление для кандидата