Fabric Data Engineer

Ориентировочный диапазон оплаты: 120–150 долларов США в час

Кто такие Trace3?

Trace3 — ведущая компания в области трансформации ИТ, предлагающая уникальные технологические решения и консалтинговые услуги нашим клиентам. Обладая элитной инженерной экспертизой и динамичными инновациями, мы даем ИТ-руководителям и их организациям конкурентное преимущество посредством процесса Интеграции, Автоматизации и Инноваций.

Наша культура в Trace3 воплощает дух стартапа с преимуществами масштабируемого бизнеса. Сотрудники могут развивать свою карьеру и получать удовольствие от работы!

Штаб-квартира Trace3 находится в Ирвайне, Калифорния. Мы нанимаем более 1200 человек по всей территории Соединенных Штатов. Наши основные филиалы расположены в Денвере, Индианаполисе, Гранд-Рапидс, Лексингтоне, Лос-Анджелесе, Луисвилле, Техасе, Сан-Франциско.

Готовы открыть для себя возможности, которые предоставляет технологии?

Присоединяйтесь к нам!

Уличная хватка — процветание в динамичные времена

Мы гибки и устойчивы в быстро меняющейся среде. Мы постоянно внедряем инновации и способствуем конструктивным изменениям, сохраняя при этом фокус на «большой картине». Мы проявляем здравый деловой подход при принятии качественных решений своевременно и экономически эффективно. Мы очень креативны и можем заглянуть глубоко внутрь себя, чтобы найти позитивные решения различных проблем.

Сок — «то», что нужно, чтобы двигать иглу

Мы выполняем работу и достигаем результатов. Мы лидируем без должности, расширяя возможности других благодаря отношению «могу сделать». Мы смотрим вперед, к цели, мысленно намечая каждый контрольный пункт на пути к успеху и визуализируя, как выглядит и ощущается конечный пункт назначения.

Командная работа — Скромность, Жажда успеха и Интеллект

Мы скромные люди, которые понимают, как наша работа влияет на миссию компании. Мы относимся к другим с уважением, признаем ошибки, отдаем должное там, где это заслуженно, и демонстрируем прозрачность. Мы «создаем погоду», проявляя позитивное лидерство и ориентированное на решение мышление. Мы поддерживаем людей в их испытаниях, трудностях и неудачах — не только в успехах. Мы ценим индивидуальность окружающих нас людей.

ОБЗОР ДОЛЖНОСТИ

Trace3 ищет инженера по данным Fabric (Fabric Data Engineer) для ускорения программы модернизации корпоративных данных путем создания и рефакторинга масштабируемых, управляемых метаданными ETL-конвейеров в Microsoft Fabric. Эта роль будет заключаться в проектировании и реализации медалионной архитектуры (Bronze, Silver, Gold) с использованием параметризованных Python-ноутбуков для перемещения исходных данных от загрузки до управляемых, доверенных аналитических слоев, снижая зависимость от устаревших ETL-платформ и обеспечивая более быструю и надежную скорость получения аналитических данных для корпоративной отчетности. Инженер по данным Fabric будет практически работать над модернизацией существующих конвейеров, применять повторно используемые и параллельные шаблоны обработки данных, а также поддерживать более широкую реализацию медалионной архитектуры Fabric, которая уже ведется в рамках Этапа 1C программы. Это ориентированная на результат инженерная роль с явным ожиданием передачи архитектуры, кода и операционных знаний текущей команде инженеров по данным по мере развития программы.

КРАТКОЕ ОПИСАНИЕ ОСНОВНЫХ ДОЛЖНОСТНЫХ ОБЯЗАННОСТЕЙ

Конвейеры Fabric и инженерия на основе метаданных

• Проектировать, создавать и поддерживать управляемые метаданными конвейеры данных в Microsoft Fabric, которые могут повторно использоваться для различных систем-источников и сущностей, а не создаваться индивидуально для каждого конвейера.
• Разрабатывать и поддерживать управляемую метаданными/конфигурацией среду, которая регулирует процессы приема, преобразования и загрузки данных во всех конвейерах.
• Стандартизировать шаблоны приема данных с использованием параметризованных ноутбуков, чтобы минимизировать дублирование логики и упростить текущее обслуживание.

Реализация медалионной архитектуры

• Создавать и рефакторить слои Bronze, Silver и Gold в Fabric Lakehouse/Warehouse, обеспечивая соответствие каждого слоя определенным критериям валидации и качества перед продвижением.
• Сохранять исходную точность данных в зоне приема и внедрять унифицированные, дедуплицированные и историзированные данные в Silver для поддержки последующих преобразований в Gold.
• Применять логику преобразования на стороне хранилища и поддерживать нативные сервисные шаблоны (например, Dataflows Gen2, Fabric Data Factory) как часть более широкой программы модернизации платформы.

Разработка Python-ноутбуков и параллельная обработка

• Разрабатывать Python-ноутбуки (включая обработку на основе PySpark) для поддержки масштабируемых, параллельных конвейеров обработки данных, которые повышают эффективность обработки данных и сокращают время получения аналитических данных.
• Создавать логику обработки с возможностью перезапуска, инкрементальную логику и логику, учитывающую схему данных, которая масштабируется с увеличением объемов данных и количества источников.

Качество данных, валидация и операционные контроли

• Реализовывать проверку данных и контроля качества на каждом слое (прием, Bronze, Silver, Gold), а не рассматривать валидацию как конечную стадию.
• Поддерживать операционные данные для запусков конвейеров, выполнения ноутбуков, слияний и результатов проверок качества для поддержки устранения неполадок и аудита.
• Поддерживать оптимизацию производительности, частоты обновления и эффективное по ресурсам проектирование конвейеров в Fabric.

Сотрудничество, документация и передача знаний

• Взаимодействовать с директором по развитию данных и аналитики (Director, Data and Analytics Enablement) и текущей командой инженеров по данным для согласования дизайна конвейеров со стандартами управления, метаданными и сертифицированными наборами данных.
• Документировать архитектуру, код и руководства по эксплуатации, а также активно передавать операционные знания, чтобы текущая команда инженеров по данным могла самостоятельно управлять, устранять неполадки и расширять разработанные конвейеры.
• Сотрудничать с заинтересованными сторонами в области отчетности, управления и платформы, чтобы гарантировать, что выходные данные конвейеров поддерживают надежную и последовательную корпоративную отчетность.

ТРЕБУЕМЫЕ НАВЫКИ И ОПЫТ

• Более 3 лет практического опыта в области инженерии данных, создания производственных ETL/ELT-конвейеров.
• Подтвержденный опыт проектирования и реализации управляемых метаданными конвейеров данных (параметризованные, основанные на конфигурации шаблоны конвейеров, а не индивидуальные сборки).
• Глубокие знания Python, включая опыт создания конвейеров обработки данных на основе ноутбуков (PySpark или эквивалент) для параллельной/распределенной обработки.
• Практический опыт работы с Microsoft Fabric и/или Databricks, включая ноутбуки, объекты Lakehouse/Warehouse и оркестрацию конвейеров.
• Практический опыт реализации медалионной архитектуры (Bronze/Silver/Gold), включая шаблоны валидации данных, дедупликации и историзации.
• Рабочие знания SQL и концепций реляционных хранилищ данных.
• Опыт работы с облачными аналитическими платформами (предпочтительно Azure).
• Сильные навыки устранения неполадок и способность документировать и передавать технические разработки как техническим, так и нетехническим заинтересованным сторонам.

Плюсом будет:

• Опыт миграции конвейеров из Azure Data Factory или аналогичных устаревших ETL-платформ в нативные сервисы Fabric.
• Знакомство с семантическими моделями Power BI и шаблонами потребления отчетов нижестоящими пользователями.
• Сертификаты Microsoft Fabric (например, DP-600, DP-700) или эквивалентные сертификаты Databricks.
• Опыт работы в консалтинговой среде или среде предоставления услуг клиентам.

ФИЗИЧЕСКИЕ ТРЕБОВАНИЯ

При выполнении стандартных обязанностей этой должности сотрудник может ожидать легкой физической нагрузки с длительными периодами сидения, периодического стояния и ходьбы; ограниченных наклонов, приседаний, сгибаний, растяжек, дотягиваний или подобных действий; периодического подъема/перемещения предметов весом до 25 фунтов. Слух и устная речь лично и по телефону необходимы для выполнения обязанностей этой должности. Требуются определенные зрительные способности для чтения печатных материалов и экрана компьютера, включая близкое зрение и способность фокусироваться.

Фактическая заработная плата будет определяться на основе различных факторов, включая местоположение, опыт, набор навыков, производительность, лицензирование и сертификацию, а также потребности бизнеса. Диапазон для этой должности в других географических регионах может отличаться. Некоторые должности также могут иметь право на переменное стимулирующее вознаграждение, такое как бонусы или комиссии, которое не включено в базовую заработную плату.

Ориентировочный диапазон оплаты

$120 — $150 USD

Бонусы

• Комплексные медицинские, стоматологические и офтальмологические программы для вас и ваших иждивенцев
• План пенсионных накоплений 401(k) с взносами работодателя, план накоплений на образование 529, счет для медицинских расходов (Health Savings Account), страхование жизни и страхование на случай долгосрочной нетрудоспособности
• Конкурентоспособная оплата
• Программы обучения и развития
• Крупные офисы, оснащенные закусками и напитками
• Культура сотрудничества и позитивная атмосфера
• Баланс между работой и личной жизнью и щедрый оплачиваемый отпуск

Наше обязательство

В основе ДНК Trace3 — наши люди. Мы — разнообразная группа талантливых людей, которые понимают важность командной работы и проявления лидерства, характера и страсти во всем, что мы делаем.

Мы стремимся создавать инклюзивную рабочую среду, где каждый чувствует себя уважаемым, ценным и наделенным возможностями для роста. Мы признаем, что принятие разнообразия стимулирует инновации, улучшает результаты, способствует сотрудничеству, повышает удовлетворенность сотрудников и создает более инклюзивную культуру.

Являясь работодателем, предоставляющим равные возможности, Trace3 принимает все решения о приеме на работу на основе индивидуальной квалификации, заслуг и потребностей бизнеса. Мы не допускаем дискриминации по признаку расы, цвета кожи, религии, пола (включая гендерную идентичность, сексуальную ориентацию и беременность), национального происхождения, возраста (40 лет и старше), инвалидности, генетической информации или любой другой характеристики, защищенной федеральным, штатным или местным законодательством.

Любая предоставленная демографическая информация является строго добровольной, конфиденциальной в соответствии с нормами о равных возможностях трудоустройства (EEO) и не будет использоваться при принятии решений о приеме на работу, включая наем, продвижение по службе или программы наставничества. Мы стремимся предоставлять равные возможности трудоустройства для всех.

Если вам требуется разумное приспособление для завершения процесса подачи заявления или участия в собеседовании, пожалуйста, отправьте электронное письмо по адресу контакт рекрутера.

***Всем рекрутинговым агентствам: Trace3 не принимает непрошеные резюме/CV от агентств. Пожалуйста, не отправляйте резюме/CV на наши адреса электронной почты для карьеры, сотрудникам Trace3 или в любое другое место компании. Trace3 не несет ответственности за какие-либо сборы, связанные с непрошеными резюме/CV.