Databricks Data Engineer

Название: Инженер данных Databricks Местоположение: Пуна / Индия

Описание вакансии: Мы ищем высококвалифицированного инженера данных на полную ставку в наш продуктовый отдел. Эта позиция фокусируется на проектировании систем больших данных и архитектуре данных, с особым акцентом на технологии Spark и Delta/Data Lake. В этой роли вы будете участвовать в проектировании, разработке, улучшении и поддержке сложных конвейеров данных и API-продуктов, которые управляют критически важными бизнес-операциями и крупномасштабной аналитикой. Мы ищем кандидатов, которые демонстрируют способность быстро осваивать новые концепции и имеют прочный опыт в области инжиниринга данных или программной инженерии.

Обязанности

• Сотрудничество: Тесно сотрудничать с другими инженерами для проектирования и внедрения сложных систем с минимальным надзором, а также с руководством команды для определения наилучших способов улучшения и расширения возможностей платформы.
• Создание и проектирование: Проектировать, разрабатывать и поддерживать сложные конвейеры данных, которые поддерживают критически важные бизнес-операции и приложения для крупномасштабной аналитики.
• Поддержка команды: Сотрудничать с командами аналитики, науки о данных и инженерии для понимания и решения их уникальных потребностей и проблем, связанных с данными.
• Непрерывное обучение: Посвящать время изучению последних достижений в этой области и освоению новых концепций, чтобы идти в ногу с быстро развивающимися технологиями инжиниринга данных.
• Автономность: Наслаждаться ролью, которая предлагает сильную независимость и автономию, одновременно внося вклад в техническую зрелость организации.

Квалификация и навыки

• Опыт: Обязателен опыт работы инженером данных более 5 лет, в том числе более 4 лет проектирования и создания конвейеров данных Databricks. Хотя опыт работы с облаком Azure предпочтителен, мы готовы рассмотреть опыт работы с AWS, GCP или другими облачными платформами.
• Технологический стек: Ключевым является более чем 4-летний практический опыт работы с Python, Pyspark или SparkSQL. Опыт работы со Scala является плюсом.
• Более 4 лет опыта работы с конвейерами больших данных или инструментами DAG (такими как Airflow, Dbt, Data Factory или аналогичными).
• Более 4 лет опыта работы со Spark, особенно с Databricks Spark и Delta Lake.
• Более 4 лет практического опыта внедрения решений для больших данных в облачной среде, включая Data/Delta Lakes.
• Более 5 лет соответствующего опыта разработки программного обеспечения, включая Python 3.x, фреймворки Django/Flask, FastAPI (или другие стандартные отраслевые API) и реляционные базы данных (SQL/ORM).

Дополнительные навыки (желательно):

• Опыт работы с Microsoft Fabric, особенно с Pyspark на Fabric и Fabric Pipelines.
• Опыт концептуального, логического и/или физического проектирования баз данных.
• Отличный опыт работы с SQL, особенно написание сложных, высокооптимизированных запросов для больших объемов данных.
• Сильные возможности моделирования/профилирования данных с использованием методологии Kimball/star schema, а также архитектуры medallion.
• Профессиональный опыт работы с Kafka, EventHub или другими технологиями потоковой передачи данных в реальном времени.
• Знакомство с конвейерами развертывания баз данных (например, dacpac или аналогичными).
• Опыт работы с модульным тестированием или фреймворками обеспечения качества данных.

Остерегайтесь мошенничества Наша команда по подбору персонала может связаться с кандидатами через адрес электронной почты домена @hitachisolutions.com и/или через уведомления нашей системы отслеживания кандидатов SmartRecruiters (Applicant Tracking System) с адреса контакт рекрутера относительно вашей заявки и запросов на собеседование. Все предложения будут отправляться с нашего адреса электронной почты домена @hitachisolutions.com. Если вы получите предложение или информацию от кого-либо, выдающего себя за сотрудника Hitachi Solutions, с любого другого домена, это может быть нелегитимно.

О Hitachi Solutions India Pvt Ltd: Hitachi Solutions, Ltd., со штаб-квартирой в Токио, Япония, является ключевым членом компании Information & Telecommunication Systems компании Hitachi Group и признанным лидером в предоставлении проверенных бизнес- и ИТ-стратегий и решений компаниям в различных отраслях. Компания предоставляет ценные услуги на протяжении всего жизненного цикла ИТ — от планирования систем до системной интеграции, эксплуатации и обслуживания. Hitachi Solutions поставляет продукты и услуги превосходного качества клиентам по всему миру через ключевые дочерние компании в Соединенных Штатах, Европе, Китае и Индии. Являясь флагманской компанией в области решений для информационных и коммуникационных систем Hitachi Group, Hitachi Solutions также предлагает решения для социального инноваций, такие как умные города.

Наше конкурентное преимущество Мы работаем вместе в динамичной и приносящей удовлетворение рабочей среде. У нас опытная команда руководителей, отличные технологические и продуктовые знания, а также прочные отношения с широким кругом клиентов и партнеров. Мы предлагаем конкурентоспособную компенсацию и пакет льгот, регулярную оценку эффективности, премии за производительность и регулярное обучение.

Как здесь работать? Мы гордимся тем, что являемся лидерами отрасли и обеспечиваем приятную рабочую среду, где наши сотрудники могут расти лично и профессионально. Hitachi — это место, где люди могут развивать навыки, которые их вдохновляют. Ниже приведены наши обязательства перед сотрудниками. Мы признаем, что наша прибыльность и успех проектов зависят от нашей команды — замечательных людей, делающих замечательные вещи. Поэтому мы стремимся к прибыльному росту и расширению возможностей для нашей команды. Мы предлагаем сложную и разнообразную работу в различных отраслях и поощряем творчество и предпринимательские инновации. Мы уважаем, поощряем и поддерживаем потребности каждого человека в постоянном личном и профессиональном росте. Мы стремимся развивать наших сотрудников. Мы слушаем. Каждый сотрудник может сказать что-то важное, что может способствовать обогащению нашей среды. Мы справедливо оплачиваем труд. И хотя сотрудники могут прийти из-за зарплаты, они остаются из-за людей. Наши люди — причина, по которой мы исключительны. Это то, о чем мы никогда не забываем.