Data Engineer/Analyst – Python, Spark, SQL, Cloud & Data Architecture

Название: Инженер/аналитик данных – Python, Spark, SQL, облачные технологии и архитектура данных Местоположение: Гуруграм

Местоположение: Гуруграм Занятость: Полная Краткое описание вакансии Synechron ищет руководителя группы – инженера/аналитика данных для руководства проектами в области данных и аналитики и предоставления решений на основе данных. Роль будет сочетать техническую экспертизу в области инженерии данных, аналитики, архитектуры данных, моделирования, интеграции, визуализации и управления данными с ответственностью за реализацию проектов и руководство командой. Успешный кандидат будет тесно сотрудничать с клиентами и внутренними командами для понимания бизнес-требований, разработки эффективных решений для работы с данными, управления планами реализации проектов и обеспечения завершения проектов в срок, в рамках бюджета и в соответствии с согласованными стандартами качества. Роль будет способствовать созданию ценности для бизнеса за счет надежных данных, действенных инсайтов, масштабируемых архитектур и улучшения принятия решений. Требования к программному обеспечению Обязательно SQL: Богатый опыт в области анализа данных, преобразования данных, написания запросов, проверки данных и разработки баз данных. Python: Богатый опыт в инженерии данных, аналитике, автоматизации или обработке данных. Apache Spark: Богатый опыт в распределенной обработке данных и работе с большими объемами данных. Технологии баз данных: Опыт работы с Oracle, MySQL и SQL Server. Хранилища данных: Глубокое понимание архитектуры хранилищ данных, моделирования и реализации. Озера данных: Опыт работы с концепциями озер данных, приемом, хранением, обработкой и управлением данными. Платформы больших данных: Глубокое техническое понимание платформ, поддерживающих обработку и аналитику больших объемов данных. Моделирование данных: Опыт разработки концептуальных, логических и физических моделей данных. Интеграция данных: Опыт проектирования и внедрения решений по интеграции данных. Управление данными: Опыт работы с качеством данных, стандартами, владением данными, метаданными, доступом и управлением жизненным циклом данных. Визуализация данных и BI: Знание Tableau и Power BI. Облачные решения для данных: Знакомство со средами данных AWS и Azure. Инструменты реализации проектов: Умение использовать инструменты для планирования проектов, графиков реализации, документирования, совместной работы и отчетности. Предпочтительно Опыт работы с облачными нативными архитектурами данных и сервисами инженерии данных. Опыт предоставления решений на основе данных в сложных корпоративных средах. Опыт автоматизации качества данных, управления метаданными, отслеживания происхождения данных и сверки. Опыт работы с передовой аналитикой, отчетностью или решениями BI самообслуживания. Сертификация в области инженерии данных, аналитики, облачных технологий, баз данных или BI. Опыт повышения эффективности обработки данных и оптимизации использования облачных ресурсов. Общие обязанности Руководство и управление проектами в области данных и аналитики от определения требований до реализации и передачи. Тесное сотрудничество с клиентами и внутренними заинтересованными сторонами для понимания бизнес-требований и разработки решений на основе данных. Предоставление технической экспертизы и руководства младшим членам команды и проектным группам. Контроль процессов сбора, очистки, преобразования, проверки и подготовки данных. Проектирование и внедрение архитектур данных, моделей данных, хранилищ данных, озер данных и решений по интеграции данных. Разработка и поддержка планов проектов, графиков реализации, этапов, зависимостей, рисков и планов ресурсов. Руководство деятельностью по анализу и моделированию данных для удовлетворения бизнес-требований и аналитических требований. Руководство выбором и применением технологий, инструментов, платформ и подходов к реализации данных. Обеспечение соответствия решений для работы с данными требованиям к качеству, масштабируемости, поддерживаемости, безопасности и производительности. Руководство техническими обсуждениями с клиентами, архитекторами, аналитиками, инженерами и другими заинтересованными сторонами. Проверка технических результатов, моделей данных, проектных решений по интеграции, аналитических решений и результатов проектов. Мониторинг хода проекта, качества, бюджета, рисков и сроков реализации. Наставничество членов команды и поддержка обмена знаниями, технического развития и последовательных инженерных практик. Обеспечение своевременного завершения результатов проекта в рамках бюджета и в соответствии с согласованными стандартами. Содействие эффективному использованию хранилищ данных, вычислительных мощностей и облачных ресурсов для поддержки устойчивых технологических практик. Технические навыки (по категориям) Языки программирования Основные Python. SQL. Разработка Apache Spark и возможности обработки данных. Умение писать поддерживаемый код для преобразования данных, проверки, автоматизации и аналитики. Опыт применения методов программирования и запросов к большим объемам данных. Предпочтительно Опыт работы с дополнительными скриптовыми или языками программирования, используемыми для инженерии данных, автоматизации или аналитики. Опыт разработки повторно используемых фреймворков, утилит или компонентов автоматизации для обработки данных. Базы данных/Управление данными Основные Oracle. MySQL. SQL Server. Хранилища данных. Озера данных. Платформы больших данных. Моделирование данных и интеграция данных. Сбор, очистка, подготовка, преобразование и проверка данных. Управление данными и управление качеством данных. Понимание структур данных, взаимосвязей, происхождения данных, владения, доступа и управления жизненным циклом. Предпочтительно Опыт миграции данных, сверки, управления метаданными, отслеживания происхождения данных и основных практик управления данными. Опыт оптимизации производительности баз данных и платформ данных. Опыт проектирования решений для работы с данными для высокообъемных или сложных аналитических нагрузок. Облачные технологии Основные Знакомство с облачными решениями для работы с данными. AWS. Azure. Понимание соображений, связанных с облачным хранилищем данных, обработкой, интеграцией, масштабируемостью, доступностью и управлением. Предпочтительно Опыт проектирования или внедрения облачных нативных архитектур данных. Опыт работы с облачными хранилищами данных, озерами данных, платформами обработки и сервисами интеграции. Опыт мониторинга облачных ресурсов, управления затратами, оптимизации ресурсов и устойчивых практик обработки данных. Опыт поддержки миграции в облако или модернизации платформ данных. Фреймворки и библиотеки Основные Apache Spark. Фреймворки и библиотеки, используемые для инженерии данных и аналитики на основе Python. Компоненты, поддерживающие прием, преобразование, проверку, интеграцию и аналитику данных. Инструменты, поддерживающие визуализацию данных и бизнес-аналитику, включая Tableau и Power BI. Предпочтительно Библиотеки, поддерживающие передовую аналитику, качество данных, профилирование, отслеживание происхождения данных и автоматизацию рабочих процессов. Повторно используемые компоненты инженерии данных и общие аналитические фреймворки. Инструменты, поддерживающие отчетность самообслуживания и интерактивное исследование данных. Инструменты разработки и методологии Основные Реализация проектов в области данных и аналитики. Планирование проектов и графика реализации. Анализ требований и проектирование решений. Архитектура данных и моделирование. Интеграция данных и разработка конвейеров. Практики управления данными и качества данных. Сотрудничество с клиентами и заинтересованными сторонами. Технические обзоры и отчетность о реализации. Руководство командой, наставничество и координация проектов. Умение управлять несколькими задачами, приоритетами, зависимостями, рисками и результатами. Предпочтительно Методологии гибкой разработки (Agile). Практики управления портфелем проектов и корпоративного управления. Автоматизированные проверки качества данных, тестирование, мониторинг и развертывание. Опыт работы с системами контроля версий, CI/CD, оркестровкой рабочих процессов и мониторингом конвейеров данных. Опыт внедрения стандартов инженерии данных и метрик реализации. Протоколы безопасности Основные Применение практик безопасности и управления данными на всех этапах сбора, хранения, обработки, интеграции и отчетности данных. Защита конфиденциальных бизнес-данных и данных клиентов с помощью соответствующих средств контроля доступа, разрешений и безопасных методов обработки. Учет требований к конфиденциальности данных, срокам хранения, классификации, происхождению данных и аудиту при проектировании решений. Выявление и эскалация рисков безопасности, конфиденциальности, качества данных и операционных рисков. Предпочтительно Опыт внедрения мер безопасности в облачных платформах данных. Опыт поддержки нормативных требований, требований аудита, конфиденциальности или соответствия. Опыт работы с маскированием данных, шифрованием, ролевым доступом и безопасной интеграцией данных. Опыт включения проверок безопасности и управления в процессы реализации данных. Требования к опыту Обязательно: Минимум 7 лет опыта работы над проектами в области данных и аналитики. Опыт руководства проектными командами и управления реализацией проектов. Подтвержденный опыт предоставления клиентам решений на основе данных. Богатый опыт работы с Python, Apache Spark, SQL, хранилищами данных, озерами данных, платформами больших данных, моделированием данных и интеграцией данных. Опыт работы с Oracle, MySQL, SQL Server, Tableau, Power BI, AWS и Azure требуется или предпочтителен в зависимости от конкретного объема проекта. Опыт управления планами проектов, графиками реализации, техническими обсуждениями, качеством, бюджетами, рисками и ожиданиями заинтересованных сторон. Опыт наставничества младших членов команды и предоставления технического руководства. Опыт работы в конкретной отрасли не обязателен; предпочтителен опыт предоставления решений для работы с данными в сложных корпоративных средах. Кандидаты также могут претендовать на должность при наличии эквивалентного сочетания соответствующего опыта в инженерии данных, аналитике данных, руководстве проектами, работе с клиентами, техническом обучении и подтвержденных результатах реализации. Ежедневные задачи Руководство деятельностью по анализу, моделированию, архитектуре, интеграции и проектированию решений для работы с данными, работая с клиентами для понимания их потребностей в данных. Управление реализацией проектов посредством планирования, составления графиков, отслеживания прогресса, управления рисками, координации заинтересованных сторон и мониторинга бюджета. Руководство техническими обсуждениями с клиентами и внутренними командами и предоставление рекомендаций по платформам данных, моделям, управлению, качеству и подходам к интеграции. Наставничество членов команды, проверка результатов, обеспечение качества и своевременной поставки, а также принятие технических решений в рамках согласованных проектных стандартов. Квалификация Требуется степень бакалавра или магистра в области компьютерных наук, информационных систем, инженерии или смежной области; может быть рассмотрен эквивалентный соответствующий уровень образования и опыта. Минимум 7 лет опыта работы над проектами в области данных и аналитики, включая руководство проектами и управление реализацией. Подтвержденный опыт работы с Python, Apache Spark, SQL, базами данных, моделированием данных, интеграцией данных, хранилищами данных, озерами данных и платформами больших данных. Сертификаты в области инженерии данных, аналитики, облачных платформ, баз данных, BI или смежных технологий предпочтительны, но не обязательны. Поддерживать непрерывное профессиональное развитие в области инженерии данных, аналитики, облачных платформ, управления данными, визуализации, реализации проектов и новых технологий обработки данных. Профессиональные компетенции Применять структурированное аналитическое мышление и навыки решения проблем для оценки требований к данным, решения проблем с данными и проектирования практических решений. Руководить проектными командами, наставлять младших членов команды и предоставлять технические рекомендации по деятельности в области инженерии данных и аналитики. Четко сообщать о концепциях данных, технических решениях, рисках, прогрессе и рекомендациях клиентам и внутренним заинтересованным сторонам. Адаптироваться к меняющимся бизнес-требованиям, технологиям обработки данных, приоритетам реализации, проектным ограничениям и потребностям клиентов. Выявлять возможности для улучшения качества данных, автоматизации, архитектуры, аналитики, эффективности реализации и устойчивого использования ресурсов. Эффективно управлять несколькими проектами, приоритетами, зависимостями, графиками реализации, бюджетами, ожиданиями заинтересованных сторон и рабочей нагрузкой команды. ДЕКЛАРАЦИЯ SYNECHRON О РАЗНООБРАЗИИ И ИНКЛЮЗИВНОСТИ Разнообразие и инклюзивность являются основой нашей культуры, и Synechron гордится тем, что является рабочим местом с равными возможностями и работодателем, применяющим позитивные дискриминационные меры. Наша инициатива в области разнообразия, равенства и инклюзивности (DEI) «Same Difference» направлена на создание инклюзивной культуры – продвижение равенства, разнообразия и уважительной среды для всех. Мы твердо верим, что разнообразный кадровый состав помогает строить более сильные, успешные бизнесы как глобальная компания. Мы призываем кандидатов из различных слоев общества, независимо от расы, этнической принадлежности, религии, возраста, семейного положения, пола, сексуальной ориентации или инвалидности, подавать заявки. Мы расширяем возможности нашей глобальной рабочей силы, предлагая гибкие условия труда, наставничество, внутреннюю мобильность, программы обучения и развития и многое другое. Все кадровые решения в Synechron основаны на потребностях бизнеса, требованиях к работе и индивидуальных квалификациях, независимо от пола, гендерной идентичности, сексуальной ориентации, расы, этнической принадлежности, статуса инвалида или ветерана, или любой другой характеристики, защищенной законом. Уведомление о подаче заявки кандидатом