Senior Data Platform Engineer

Название: Ведущий инженер платформы данных Местоположение: Индия - Бенгалуру - Манята

Местоположение: Индия - Бенгалуру - Манята Занятость: Полная Что, если работа, которую вы выполняете каждый день, может повлиять на жизнь людей, которых вы знаете? Или на все человечество? В Illumina мы расширяем доступ к геномным технологиям, чтобы обеспечить справедливость в области здравоохранения для миллиардов людей по всему миру. Наши усилия позволяют делать жизненно важные открытия, которые трансформируют здоровье человека посредством раннего выявления и диагностики заболеваний, а также новых вариантов лечения пациентов. Работа в Illumina означает быть частью чего-то большего, чем вы сами. Каждый человек, на каждой должности, имеет возможность внести свой вклад. Окруженный выдающимися людьми, вдохновляющими лидерами и проектами, меняющими мир, вы сделаете больше и станете больше, чем вы когда-либо могли себе представить. Старший инженер данных Обзор роли Инженер платформы Databricks является техническим владельцем нашей платформы Databricks Lakehouse — общей основы, на которой построены корпоративные продукты данных, аналитика, отчетность и рабочие нагрузки AI/ML. Это практическая роль индивидуального исполнителя, отвечающая за надежность, масштабируемость, безопасность, автоматизацию, управление и экономическую эффективность платформы Databricks. Успешный кандидат будет иметь опыт эксплуатации Databricks в качестве корпоративной платформы в производственной среде, а не только разработки на ее основе. Он будет работать в стиле AI-native и устанавливать этот стандарт для команды. Вы будете владеть доменом Data Platforms в рамках межфункциональной инженерной команды Data & Analytics Platforms. Вы будете устанавливать стандарты платформенной инженерии, проектировать и создавать автоматизацию инфраструктуры, создавать повторно используемые эталонные архитектуры и инженерные шаблоны, а также обеспечивать надежную работу платформы в корпоративном масштабе. Вы также будете наставлять инженеров и помогать развивать возможности платформенной инженерии в команде в Индии. Ключевые обязанности Владение платформой Владение архитектурой на уровне рабочего пространства и учетной записи: Unity Catalog, политики вычислений, Lakeflow Jobs и общая инфраструктура вычислений, идентификация и основные сущности (service principals), управление секретами, аудит журналов, системные таблицы, интеграция хранилищ, обновления платформы и продвижение сред между разработкой, тестированием и производством. Проектирование, создание и ревью инфраструктуры как кода (IaC), CI/CD и возможностей наблюдаемости для платформы, устанавливая повторно используемые стандарты и автоматизацию для более широкой инженерной команды. Владение надежностью платформы: доступность, емкость, управление инцидентами, анализ первопричин, а также аварийное восстановление/планирование непрерывности бизнеса (DR/BCP); определение и достижение SLO платформы для общих сервисов платформы. Управление Databricks FinOps: мониторинг потребления, оптимизация затрат, управление бюджетом и аномалиями, а также распределение затрат (chargeback/showback) с прозрачными единичными затратами для команд-потребителей. Внедрение средств обеспечения безопасности и управления платформой: федерация идентификации/SCIM, основные сущности (service principals), сетевые элементы управления, секреты, RBAC/ABAC, управляемые теги, безопасность строк/столбцов и маскирование, обработка PII, отслеживание происхождения данных (lineage) и аудит. Обеспечение и эксплуатация возможностей платформы, необходимых для рабочих нагрузок AI/ML — MLflow, Model Serving, vector search и шаблонов инфраструктуры GenAI — в партнерстве с командами аналитики и AI по архитектуре рабочих нагрузок, управлению и контролю затрат. Создание и поддержка эталонных реализаций и стандартизированных шаблонов (paved-road patterns) (PySpark, SQL, Delta Lake, Auto Loader), которые демонстрируют инженерным командам, как использовать платформу; обеспечение возможностей для команд-потребителей, а не владение доставкой их продуктов данных. Относитесь к платформе как к внутреннему продукту: понимайте потребности команд-потребителей, определяйте стандартизированные возможности (paved-road capabilities) и шаблоны самообслуживания, отслеживайте внедрение и надежность, а также постоянно снижайте трение для разработчиков. Владение дорожной картой платформы: обновления, новые возможности, вывод из эксплуатации. Инженерные стандарты Вклад в командное руководство по инженерии и архитектурные решения; руководство ревью кода по платформе и базовой работе. Участие в архитектурных и инженерных форумах, четкое изложение компромиссов коллегам и глобальным заинтересованным сторонам. Поддержка повторно используемых шаблонов и автоматизации, используемых в команде. Установление практики AI-native инженерии для команды: как AI-ассистенты используются для инфраструктурного кода, генерации тестов, руководств (runbooks), ревью кода и устранения неполадок, а также где требуется человеческое ревью. Конкретные инструменты не являются критерием отбора. Наставничество и сотрудничество Наставничество инженеров посредством онбординга, парного программирования и ревью кода. Обеспечение вторичного покрытия смежной области платформы в рамках модели кросс-функционального обучения команды. Требуемая квалификация 3–5 лет профессионального опыта в области платформы данных или инженерии данных, включая не менее 2 лет администрирования и эксплуатации Databricks в производственной среде в качестве корпоративной платформы (администрирование учетных записей и рабочих пространств, Unity Catalog, политики вычислений, продвижение сред), а не только разработка конвейеров на ней. Подтвержденная способность проектировать, создавать и ревьюировать инфраструктуру как код (Terraform или эквивалент) и CI/CD для платформ данных (GitHub Actions, AWS CodePipeline или аналогичные). Отличное знание Python и PySpark; продвинутый SQL. Опыт эксплуатации платформ: мониторинг и оповещение, управление инцидентами, руководства (runbooks), управление емкостью и производительностью. Опыт работы с управлением затратами Databricks и практиками FinOps. Опыт обеспечения безопасности и соответствия требованиям платформы: идентификация, основные сущности (service principals), секреты, сетевые элементы управления, аудит журналов, RBAC и обработка PII, с пониманием таких средств контроля, как SOX. Твердое понимание распределенных систем и системного проектирования для крупномасштабной обработки данных. Основы AWS: S3, IAM, VPC и сетевые технологии, KMS, а также понимание того, как Databricks интегрируется с ними. Подтвержденное эффективное использование инструментов AI-ассистированной инженерии или сильная способность и готовность их внедрять в кодирование, IaC, тестирование, документацию и устранение неполадок, с разумной оценкой верификации, безопасности и человеческого ревью. Конкретные инструменты не являются критерием отбора. Отличные письменные и устные коммуникативные навыки; способность эффективно работать с глобальными заинтересованными сторонами и вести технические обсуждения. Степень бакалавра в области компьютерных наук, информационных систем, инженерии или смежной области, или эквивалентный подтвержденный опыт. Предпочтительная квалификация Сертификация Databricks Certified Data Engineer Professional и/или AWS Certified Solutions Architect. Опыт эксплуатации платформ в средах, соответствующих нормативным требованиям (SOX, GxP / 21 CFR Part 11 или аналогичные): управление изменениями, доказательства аудита, обзоры доступа, разделение обязанностей. Опыт поддержки, онбординга или наставничества других инженеров. Опыт принятия или миграции существующего парка платформ. Опыт работы в глобальной модели доставки с распределенными заинтересованными сторонами. Мы — компания, глубоко укоренившаяся в культуре принадлежности, способствующая созданию инклюзивной среды, где сотрудники чувствуют себя ценными и наделенными полномочиями для внесения вклада в нашу миссию. Построенная на прочном фундаменте, Illumina всегда уделяла приоритетное внимание открытости, сотрудничеству и поиску альтернативных точек зрения для продвижения инноваций в геномике. Мы с гордостью подтверждаем нулевой разрыв в оплате труда независимо от пола, этнической принадлежности или расы. У нас также есть несколько групп поддержки сотрудников (ERG), которые предоставляют возможности для карьерного роста, повышают культурную осведомленность и предлагают возможности для участия в социальной ответственности. Мы гордимся тем, что являемся работодателем, предоставляющим равные возможности, приверженным предоставлению рабочих мест независимо от пола, расы, вероисповедания, цвета кожи, гендера, религии, семейного положения, статуса партнера по браку, возраста, национального происхождения или происхождения, физических или умственных недостатков, медицинского состояния, сексуальной ориентации, беременности, статуса ветерана или военнослужащего, гражданства и генетической информации. Illumina проводит проверку биографических данных кандидатов, которым было сделано условное предложение о работе. Квалифицированные кандидаты с историей арестов или судимостей будут рассматриваться для трудоустройства в соответствии с применимыми местными, государственными и федеральными законами. Результаты проверки биографических данных могут потенциально привести к отзыву условного предложения о работе. Процесс проверки биографических данных и любые решения, принятые в результате, будут осуществляться в соответствии со всеми применимыми местными, государственными и федеральными законами. Illumina запрещает использование генеративного искусственного интеллекта (AI) в процессе подачи заявок и собеседования. Если вам требуется помощь для завершения процесса подачи заявки или собеседования, пожалуйста, свяжитесь с контакт рекрутера. Чтобы узнать больше, посетите: Позиция будет открыта до тех пор, пока не будет выбран окончательный кандидат или пока вакансия не получит достаточного количества квалифицированных кандидатов. Эта должность не подлежит спонсорству визы.