Sr Data Engineer

Должность: Старший инженер по данным Местоположение: Индия - Бенгалуру - Манята

Местоположение: Индия - Бенгалуру - Манята Занятость: Полный рабочий день Что, если работа, которую вы выполняете каждый день, может повлиять на жизнь ваших близких? Или на жизнь всего человечества? В Illumina мы расширяем доступ к геномным технологиям, чтобы обеспечить равенство в области здравоохранения для миллиардов людей во всем мире. Наши усилия способствуют жизненно важным открытиям, которые трансформируют здоровье человека благодаря раннему выявлению и диагностике заболеваний, а также новым вариантам лечения пациентов. Работа в Illumina означает быть частью чего-то большего, чем вы сами. Каждый человек, в любой роли, имеет возможность внести свой вклад. В окружении выдающихся людей, вдохновляющих лидеров и проектов, меняющих мир, вы сделаете больше и станете большим, чем когда-либо могли себе представить. Обзор роли Старший инженер по данным — это опытный практический инженер, который проектирует, создает и масштабирует продукты данных в нашем облачном хранилище данных (cloud lakehouse), обеспечивая аналитику, отчетность и ИИ/МО для всей Illumina. Мы ищем человека с глубокими знаниями Python, SQL и моделирования данных, с твердым пониманием распределенных систем и проектирования систем, который создавал и масштабировал продукты данных на современных облачных платформах, таких как Databricks и Snowflake. Это практическая, старшая индивидуальная роль с полной ответственностью и лидерством, охватывающая несколько областей, таких как управление цепочками поставок, производство и контроль качества, включая наставничество инженеров в нашей глобальной (индийской) команде. Ключевые обязанности Сотрудничать с бизнес-подразделениями, командами по ИИ и платформам, переводя потребности бизнеса (например, SAP, производство, контроль качества) в хорошо смоделированные, управляемые и масштабируемые продукты данных. Проектировать, создавать и масштабировать сквозные продукты данных на Databricks (и во взаимодействии с Snowflake) — от сбора данных до кураторских наборов данных, готовых к анализу, в соответствии с медальонной архитектурой (Bronze/Silver/Gold). Разрабатывать повторно используемые фреймворки, библиотеки и стандартизированные шаблоны на Python (функциональное и объектно-ориентированное программирование, в зависимости от ситуации) для сбора, преобразования, валидации и публикации данных. Разрабатывать надежные модели данных (реляционные, дедуктивные и lakehouse) и применять сильные навыки проектирования систем для создания высокопроизводительных, надежных распределенных конвейеров данных с использованием Spark, Delta Lake / open table formats, dbt и SQL. Встраивать контроль качества данных, сверку, валидацию и управление в конвейеры (Unity Catalog: отслеживание происхождения, RBAC, маскирование, обработка PII). Мониторинг, оповещение, устранение неполадок, анализ первопричин и соблюдение SLA для критически важных для бизнеса наборов данных. Применять ИИ в повседневной работе по инженерии данных и аналитике для ускорения разработки, тестирования и оптимизации. Выступать в качестве технического лидера — устанавливать стандарты, проводить ревью кода, участвовать в принятии архитектурных решений, обучать инженеров и сообщать об компромиссах коллегам и заинтересованным сторонам. Требуемые квалификации 8+ лет профессионального опыта в области инженерии данных, создания и масштабирования продуктов данных на облачных платформах, таких как Databricks и/или Snowflake. Глубокие знания Python, включая разработку повторно используемых фреймворков с использованием функционального и объектно-ориентированного программирования. Продвинутый SQL и сильные навыки моделирования данных (реляционные, дедуктивные и lakehouse). Твердое понимание распределенных систем и проектирования систем для крупномасштабной обработки данных. Практический опыт работы с открытыми форматами таблиц (Delta Lake и/или Apache Iceberg) и форматами файлов больших данных (Parquet). Опыт работы со Spark и современными инструментами ELT (например, dbt). Опыт работы с методами обеспечения наблюдаемости данных, управления, безопасности и соответствия требованиям (RBAC, PII, SOX). Подтвержденное применение ИИ в рабочих процессах инженерии данных и аналитики. Прочная основа программной инженерии — Git, REST API, JSON, CI/CD в как минимум одной облачной среде (предпочтительно AWS). Сильные навыки письменного и устного общения, способность эффективно работать с бизнес-подразделениями, командами по ИИ и платформам, а также вести технические дискуссии. Степень бакалавра в области компьютерных наук, науки о данных, информационных систем, инженерии, математики или смежной области, или эквивалентный подтвержденный опыт. Предпочтительные квалификации Большим плюсом будет знание предметных областей SAP, производства и/или контроля качества данных и процессов. Опыт работы в регулируемых средах GxP / 21 CFR Part 11 или аналогичных (науки о жизни, фармацевтика, медицинские устройства). Опыт работы с Unity Catalog и управлением lakehouse в масштабе. Опыт миграции с Snowflake на Databricks. Опыт работы с данными SAP (ECC / S/4HANA, CDS views) и паттернами интеграции данных SAP (например, SAP Business Data Cloud). Бонусом будет дополнительное знание предметных областей, таких как коммерция и финансы. Сертификаты Databricks и/или dbt. Знакомство с Power BI / Tableau и обеспечение BI и разговорной аналитики. Ценности, которые мы ценим Ответственность: Полная подотчетность за продукты данных, от проектирования до поддержки в производственной среде. Инженерное мастерство: Чистый, повторно используемый, хорошо спроектированный код и гордость за проверяемые, надежные данные. Системное мышление: Обоснованные проектные решения с учетом масштаба, производительности и затрат. Техническое лидерство: Повышение стандартов через установление норм, ревью и наставничество. Скорость обучения: Быстрое освоение новых инструментов, включая ИИ, и их прагматичное применение. Кросс-функциональная коммуникация: Эффективное партнерство с бизнес-подразделениями, командами по ИИ и платформам, а также четкое объяснение компромиссов. Мы — компания, глубоко укорененная в принципах принадлежности, продвигающая инклюзивную среду, где сотрудники чувствуют себя ценными и имеют возможность внести свой вклад в нашу миссию. Построенная на прочном фундаменте, Illumina всегда уделяла приоритетное внимание открытости, сотрудничеству и поиску альтернативных точек зрения для продвижения инноваций в геномике. Мы с гордостью подтверждаем нулевой разрыв в оплате труда, независимо от пола, этнической принадлежности или расы. У нас также есть несколько групп поддержки сотрудников (ERG), которые предоставляют возможности для развития карьеры, повышают культурную осведомленность и предлагают возможности для участия в социальной ответственности. Мы гордимся тем, что являемся работодателем, предоставляющим равные возможности, и стремимся предоставлять рабочие места независимо от пола, расы, вероисповедания, цвета кожи, гендера, религии, семейного положения, статуса домашнего партнера, возраста, национального происхождения или происхождения, физических или психических отклонений, медицинского состояния, сексуальной ориентации, беременности, статуса военнослужащего или ветерана, гражданства и генетической информации. Illumina проводит проверку данных кандидатов, которым было сделано условное предложение о работе. Квалифицированные кандидаты с арестами или судимостями будут рассмотрены для трудоустройства в соответствии с применимыми местными, государственными и федеральными законами. Результаты проверки данных могут потенциально привести к отзыву условного предложения о работе. Процесс проверки данных и любые решения, принятые в результате, будут приниматься в соответствии со всеми применимыми местными, государственными и федеральными законами. Illumina запрещает использование генеративного искусственного интеллекта (ИИ) в процессе подачи заявки и собеседования. Если вам требуется помощь для завершения процесса подачи заявки или собеседования, пожалуйста, свяжитесь с контакт рекрутера. Узнайте больше по адресу: Позиция будет открыта до тех пор, пока не будет выбран окончательный кандидат или пока на вакансию не поступит достаточное количество квалифицированных кандидатов. Эта должность не подлежит визовой поддержке.