Sr Data Engineer, Data Analytics & Intelligence, NA

Должность: Старший инженер по данным, аналитика и разведка данных, Северная Америка Местоположение: Денвер, Колорадо

Местоположение: Денвер, Колорадо Занятость: Полная

О Vantage Data Centers

Vantage Data Centers обеспечивает электропитание, охлаждение, защиту и подключение технологий для всемирно известных гиперскейлеров, облачных провайдеров и крупных предприятий. Разрабатывая и эксплуатируя объекты в Северной Америке, Европе, на Ближнем Востоке и в Азиатско-Тихоокеанском регионе, Vantage инновационно развивает дизайн центров обработки данных, добиваясь значительного повышения надежности, эффективности и устойчивости в гибких средах, которые могут масштабироваться так же быстро, как того требует рынок.

Команда Operational Excellence Data

В рамках Operational Excellence функция аналитики и разведки данных позволяет Отделу эксплуатации перейти от реактивной отчетности к проактивному исполнению, основанному на аналитических данных. Команда отвечает за создание надежных основ данных, управляемых фреймворков KPI, продуктов операционной аналитики и готовых к использованию в ИИ наборов данных, которые поддерживают видимость производительности, принятие решений, предиктивную аналитику и масштабируемое операционное превосходство по всей Северной Америке. Эта работа напрямую поддерживает миссию Operational Excellence по внедрению строгости исполнения, дисциплины процессов и интеллектуальных данных в планирование, исполнение, прогнозирование и непрерывное совершенствование Отдела эксплуатации.

Обзор должности

Эта должность предполагает работу в офисе в Денвере, штат Колорадо, в соответствии с нашей политикой гибкой работы. (Требуется 3 дня в офисе, 2 дня гибкие).

Vantage Data Centers ищет Старшего инженера по данным для помощи в создании, эксплуатации и масштабировании управляемой основы данных для Отдела эксплуатации в Северной Америке. Эта роль предназначена для инженера, который может самостоятельно создавать готовые к производству конвейеры данных, курированные наборы данных, входные данные для семантических моделей и готовые к использованию в ИИ продукты данных, которые поддерживают отчетность, подготовку аналитических данных для руководства и развивающееся решение AI Insight Solution.

В составе команды Data Engineering & Business Intelligence вы будете отвечать за предоставление надежных продуктов данных, поддерживающих аналитику, ИИ-агентов, операционную аналитику, отчетность и развивающуюся платформу на базе ИИ. Вы будете тесно сотрудничать с Global IT, командами разработчиков решений, бизнес-экспертами (SMEs) и партнерами по управлению данными, чтобы обеспечить безопасность, возможность повторного использования, объяснимость продуктов данных и их соответствие корпоративному направлению AI / Fabric.

Успех на этой должности требует уверенности в условиях неопределенности, высокой дисциплины исполнения и ответственности за создание надежных активов данных, которые могут быть повторно использованы в аналитике, операционной аналитике и сценариях использования с применением ИИ.

Основные должностные обязанности

• Проектирование, создание и поддержка надежных, масштабируемых конвейеров данных с использованием Python и PySpark на платформе данных Microsoft Azure.
• Разработка и эксплуатация пакетных и инкрементных конвейеров данных с использованием Azure Data Factory для оркестрации и Azure Data Lake Storage Gen2 в качестве основного хранилища данных.
• Создание и поддержка курированных наборов данных lakehouse / gold-layer и входных данных для семантических моделей, поддерживающих управляемые операционные аналитические данные и использование с применением ИИ.
• Самостоятельная реализация преобразований на основе SQL и Spark для получения курированных наборов данных, поддерживающих корпоративную отчетность, аналитику, подготовку аналитических данных для ИИ и последующее использование.
• Принятие ответственности за назначенные конвейеры данных и наборы данных, включая мониторинг, устранение неполадок, оптимизацию производительности, документацию и производственную поддержку.
• Работа с Azure Synapse, Microsoft Fabric / Lakehouse patterns, где применимо, и связанными аналитическими службами Azure для поддержки аналитических нагрузок и моделей использования данных.
• Подготовка структурированных операционных данных для сценариев использования с применением ИИ путем документирования бизнес-правил, происхождения источников, ограничений надежности данных, известных ограничений качества и определений словаря данных.
• Поддержка видимости источников, контекста уверенности и интеграции индикаторов надежности и доверия к данным (Data Reliability & Trust Indicator), где применимо, чтобы результаты последующей аналитики и ИИ могли быть поняты и им можно было доверять.
• Вклад в согласование онтологии, таксономии, семантической модели и словаря данных, необходимого для связи операционного контекста, KPI, инцидентов, рабочих заказов и других корпоративных доменов данных.
• Сотрудничество с бизнес-аналитиками, экспертами Отдела эксплуатации, управляющими данными, Global IT и кросс-функциональными заинтересованными сторонами для преобразования требований в практические, работающие решения для данных.
• Применение установленных стандартов управления данными, безопасности, контроля доступа, классификации данных и инжиниринга для обеспечения соответствия, поддерживаемости и масштабируемости решений.
• Выявление, документирование и передача проблем качества данных ответственным владельцам, помогая улучшать исправление на стороне источника, а не маскировать дефекты на последующих этапах.
• Участие в обзорах кода, технических обсуждениях, планировании спринтов и инициативах по улучшению платформы в качестве активного участника.
• Проактивное выявление проблем качества данных, рисков конвейеров, зависимостей платформы и возможностей для улучшения, а также четкое информирование о них в быстро меняющейся среде.

Обязанности

• Разработка и поддержка ноутбуков и заданий PySpark для приема, преобразования, проверки и курирования данных на корпоративной платформе данных.
• Создание и модификация конвейеров Azure Data Factory для пакетного и инкрементного приема данных.
• Реализация преобразований на основе Spark, которые записывают курированные наборы данных в Azure Data Lake Storage Gen2 и/или шаблоны Fabric Lakehouse, используя установленные структуры папок, соглашения об именовании и стандарты управления.
• Создание и поддержка представлений SQL, таблиц, объектов lakehouse и входных данных семантической модели для поддержки аналитических решений, операционной аналитики и моделей использования с применением ИИ.
• Подготовка наборов данных для сценариев использования Fabric Data Agent / AI agent путем документирования бизнес-правил, соединений, гранулярности, ограничений качества, происхождения источников и операционных определений.
• Реагирование на сбои конвейеров, проблемы проверки данных, операционные оповещения и эскалации качества данных с четким анализом первопричин и практическими шагами по устранению.
• Выполнение настройки производительности заданий Spark и SQL-нагрузок, включая партиционирование, фильтрацию, инкрементную логику, оптимизацию запросов и проектирование с учетом ресурсов в рамках установленных архитектурных шаблонов.
• Проверка выходных данных с бизнес-партнерами, экспертами Отдела эксплуатации и управляющими данными, а также устранение дефектов или несоответствий через документированные пути исправления.
• Поддержка практик наблюдаемости, логирования и аудита для конвейеров данных и наборов данных, пригодных для использования ИИ, где применимо.
• Фиксация кода с использованием Git, следование стандартам ветвления, участие в обзорах pull request и поддержка рабочего процесса CI/CD с использованием GitHub, Azure DevOps или аналогичных инструментов.
• Обновление документации для конвейеров, наборов данных, контрактов данных, словарей данных, бизнес-правил и операционных руководств по эксплуатации по мере внесения изменений.
• Выполнение назначенных элементов бэклога в установленные сроки спринта и раннее информирование о рисках, зависимостях или блокировках.
• Дополнительные обязанности по мере необходимости, назначенные руководством.

Требования к вакансии

Образование и опыт

• Степень бакалавра в области инженерии, компьютерных наук, аналитики данных или смежной области, либо эквивалентный опыт.
• Минимум 5–8 лет опыта работы в области инженерии данных, аналитической инженерии или тесно связанной технической роли, связанной с данными.
• Владение Python для создания и поддержки конвейеров данных, автоматизации, рабочих процессов обработки данных и преобразований на основе PySpark.
• Владение SQL для выполнения запросов, преобразований, аналитической обработки данных, проверки моделей и проверки качества данных.
• Глубокое понимание конвейеров ETL/ELT, шаблонов преобразования данных, концепций интеграции данных, инкрементной обработки и практик производственной поддержки.
• Опыт анализа корпоративных источников данных для выявления взаимосвязей данных, преобразований, бизнес-правил, гранулярности, владения и ограничений качества.
• Опыт создания решений на платформе Microsoft Azure с использованием Azure Data Factory, Azure Synapse, Azure Data Lake Storage Gen2, шаблонов Microsoft Fabric / Lakehouse и связанных аналитических служб.
• Рабочее знание основ моделирования данных, включая таблицы фактов и измерений, семантические модели, повторно используемые продукты данных и структуры, готовые для аналитики.
• Опыт поддержки управляемых продуктов данных, включая метаданные, происхождение данных, документацию по проблемам, осведомленность о контроле доступа, проверку качества данных и операционные руководства по эксплуатации.
• Опыт работы с системами контроля версий и рабочими процессами CI/CD с использованием таких инструментов, как GitHub или Azure DevOps.
• Отличные коммуникативные и межличностные навыки, позволяющие эффективно сотрудничать с Global IT, бизнес-экспертами (SMEs), партнерами по управлению данными, командными платформами и заинтересованными сторонами Отдела эксплуатации в быстро меняющейся среде.
• Опыт работы в гибких средах разработки и использования инструментов для совместной работы или отслеживания проектов, таких как Jira или аналогичные.
• Ожидается, что командировки составят до 10%, но могут увеличиться со временем по мере развития бизнеса.

Желательные квалификации

• Опыт работы с распределенными системами обработки данных, включая Apache Spark.
• Опыт подготовки управляемых продуктов данных для сценариев использования с применением ИИ, включая Microsoft Fabric Lakehouse, семантические модели, шаблоны Fabric/Data Agent, согласование онтологии или таксономии и объяснимые результаты ИИ.
• Знакомство с наблюдаемостью данных, управлением метаданными, происхождением данных, контрактами данных, индикаторами надежности и передовыми операционными практиками в производственных средах.
• Знакомство с дополнительными службами Azure, такими как Azure Functions или Logic Apps, для поддержки рабочих процессов данных.
• Опыт поддержки улучшения платформы данных, рефакторинга, модернизации или инициатив по созданию повторно используемой архитектуры.
• Опыт работы со структурированными и неструктурированными оперативными источниками, такими как корпоративные приложения, операционные рабочие процессы, документы, панели мониторинга и базы знаний.
• Опыт работы в масштабируемой или быстро развивающейся организации, где приоритеты быстро меняются и требуется высокая дисциплина исполнения.

Физические требования и особые условия

Физические требования, описанные в данном документе, являются репрезентативными для тех, которые должны быть выполнены сотрудником для успешного выполнения основных обязанностей по работе. Разумные меры могут быть приняты для обеспечения возможностей для людей с ограниченными возможностями выполнять основные обязанности.

При выполнении своих обязанностей сотрудник время от времени обязан стоять; ходить; сидеть; использовать руки для работы с предметами или ощущения предметов; тянуться руками; подниматься по лестнице; балансировать; приседать или наклоняться; говорить и слушать. Сотрудник должен периодически поднимать и/или перемещать до 25 фунтов.

Дополнительные сведения

Диапазон заработной платы: 130–155 тыс. долларов США (этот диапазон основан на рыночных данных Колорадо и может отличаться в других регионах)

Эта должность дает право на получение льгот компании, включая, но не ограничиваясь: медицинское, стоматологическое и офтальмологическое страхование, страхование жизни и от несчастных случаев (AD&D), страхование на случай временной и постоянной нетрудоспособности, оплачиваемый отпуск, программу помощи сотрудникам, участие в программе 401k с корпоративным софинансированием и многие другие дополнительные добровольные льготы.

Компенсация за роль будет зависеть от ряда факторов, включая вашу квалификацию, навыки, компетенции и опыт, и может выходить за рамки указанного диапазона.

Мы работаем без эго и высокомерия. Мы поддерживаем друг друга, ценим сильные стороны каждого и уважаем слабости. Мы находим радость в нашей работе и друг в друге, активно ища возможности привнести веселье в то, что мы делаем. Наша усердная и эффективная работа вознаграждается комплексным пакетом компенсаций, превышающим рыночный уровень. Мы предлагаем комплексный набор льгот по медицинскому обслуживанию и социальному обеспечению, пенсионному обеспечению и оплачиваемому отпуску, превосходящий местные ожидания.

В течение года преимущество работы в команде Vantage очевидно благодаря целому ряду льгот, признания, обучения и развития, а также осознанию того, что ваш вклад приносит пользу компании и нашему сообществу.

Не соответствуете всем требованиям? Все равно подавайте заявку, если считаете, что вы подходите для этой должности. Мы всегда рады пообщаться с людьми, которые разделяют нашу миссию и ценности.

Vantage Data Centers является работодателем, предоставляющим равные возможности.

Vantage Data Centers не принимает незапрошенные резюме от рекрутинговых агентств. Плата не будет выплачиваться в случае найма кандидата, представленного рекрутером без действующего соглашения; такие резюме будут считаться исключительной собственностью Vantage Data Centers.

Мы будем принимать заявки в течение как минимум одной недели с даты публикации этой вакансии. Если вы заинтересованы, мы призываем вас подать заявку как можно скорее — мы с нетерпением ждем возможности найти подходящего человека и оставим вакансию открытой до тех пор, пока не найдем его!