Senior Data Engineer

Заголовок: Старший инженер данных Местоположение: Майами, Флорида / на территории работодателя

Мы ищем старшего инженера данных, который присоединится к нашей растущей команде платформы данных. Вы будете отвечать за проектирование, создание и надежность нашей облачной платформы данных (data lakehouse) — от первичной загрузки до готовых для аналитики таблиц Gold. Вы будете тесно сотрудничать с аналитиками данных, инженерами аналитики и заинтересованными сторонами продукта, чтобы предоставлять достоверные данные в кратчайшие сроки, продвигая качество данных и наблюдаемость как первоочередные задачи. Эта роль находится на стыке инженерии данных и платформенной инженерии — от вас ожидается мышление архитектурами, а не только конвейерами.

Что вы будете делать Разработка платформы данных и конвейеров ▸ Проектируйте, создавайте и поддерживайте масштабируемые ETL/ELT конвейеры с использованием Azure Data Factory (ADF) и Apache Airflow, обрабатывая структурированные и полуструктурированные данные в рамках архитектуры Medallion (Bronze → Silver → Gold). ▸ Внедряйте инкрементальные шаблоны загрузки, захват изменений данных (CDC) и событийно-ориентированную загрузку для обеспечения актуальности данных на платформе. ▸ Создавайте и оптимизируйте объекты хранилища данных Snowflake — таблицы, представления, динамические таблицы, потоки, задачи и хранимые процедуры — для повышения производительности и экономической эффективности. ▸ Разрабатывайте модульные, протестированные модели dbt, соответствующие каждому уровню Medallion, обеспечивая единообразные соглашения об именовании, документирование и отслеживание происхождения данных (lineage) для всех преобразований.

Качество данных и наблюдаемость ▸ Внедряйте автоматическую проверку качества данных на каждом уровне Medallion с использованием Elementary (уровень наблюдаемости dbt), обеспечивая обнаружение аномалий, проверку актуальности и оповещения об изменениях схемы до того, как данные достигнут потребителей. ▸ Определяйте и применяйте контракты на данные между поставщиками и потребителями — проверки количества строк, пороговые значения частоты нулевых значений, ссылочную целостность и проверку домена значений. ▸ Создавайте и поддерживайте панели мониторинга качества данных, чтобы предоставить командам инженеров и бизнес-пользователям уверенность в состоянии платформы в режиме реального времени.

Инфраструктура облака Azure ▸ Управляйте и оптимизируйте Azure Data Lake Storage Gen2 (ADLS) — структуры папок, политики жизненного цикла, уровни доступа и стратегии секционирования. ▸ Создавайте и поддерживайте Azure Functions и Azure Logic Apps для легкой обработки событий, триггеров оркестрации и автоматизации операционных задач. ▸ Управляйте секретами, учетными данными и конфигурацией, специфичной для среды, безопасно с помощью Azure Key Vault — никаких жестко закодированных учетных данных в конвейерах или коде. ▸ Участвуйте в практиках инфраструктуры как кода (infrastructure-as-code) для развертывания служб данных Azure (предпочтительно Terraform или Bicep).

Сотрудничество и поставка результатов ▸ Преобразуйте неоднозначные бизнес-требования в четко определенные модели данных и проекты конвейеров, работая с аналитиками и заинтересованными сторонами для проверки предположений перед созданием. ▸ Участвуйте в проверке кода, соблюдайте стандарты и обучайте младших инженеров лучшим практикам инженерии данных. ▸ Поддерживайте внедрение CI/CD для развертывания конвейеров и моделей dbt в средах Dev / Test / Prod.

Что мы ищем Обязательные требования ▸ Snowflake: Snowflake – Продвинутый SQL — оконные функции, CTE, рекурсивные запросы, профилирование запросов – Собственные функции Snowflake: streams, tasks, snowpipe, dynamic tables, row-level security – Настройка виртуальных хранилищ и оптимизация затрат на кредиты ▸ dbt + Elementary: dbt + Elementary – Написание, тестирование и документирование продакшн-моделей dbt – Интеграция Elementary для наблюдаемости данных и обнаружения аномалий – Инкрементальные стратегии dbt, снапшоты и семантический слой ▸ Azure Cloud: Azure Cloud – Azure Data Factory — разработка конвейеров, триггеры, параметризация, связанные службы – ADLS Gen2 — дизайн зон/папок, управление жизненным циклом, секционирование Parquet/Delta – Azure Key Vault — управление секретами, управляемые удостоверения – Azure Functions / Logic Apps — событийно-ориентированные триггеры и легкая автоматизация ▸ Airflow: Airflow – Разработка DAG, зависимости задач, XCom, сенсоры и управление соединениями – Развертывание и мониторинг Airflow в облачных средах ▸ Python: Python – Скриптинг конвейеров данных, основы PySpark, интеграция REST API – Модульное тестирование логики конвейеров и функций преобразования ▸ Качество данных и архитектура Medallion: Medallion Architecture: – Практический опыт внедрения архитектуры Medallion Bronze / Silver / Gold – Проверки качества данных на каждом уровне — не только на финальном уровне Gold – Обработка эволюции схемы и управление измерениями SCD Type 2 ▸ Более 4 лет профессионального опыта в инженерии данных, из которых не менее 2 лет на облачных платформах данных Azure.

Приветствуется ▸ Опыт работы с Snowflake Cortex, dbt Semantic Layer или Boomi Data Hub для обогащения данных с помощью ИИ в рамках слоев конвейера. ▸ Опыт интеграции проверок качества на основе LLM или обнаружения аномалий с помощью ИИ в рабочие процессы обработки данных. ▸ Знакомство с Microsoft Fabric и OneLake как с дополнительной или будущей платформой. ▸ Знание концепции data mesh или data product thinking и их соответствие владению уровнями Medallion. ▸ Опыт работы с Terraform или Bicep для предоставления инфраструктуры Azure.

Что мы ищем Обязательные требования ▸ Snowflake: Snowflake – Продвинутый SQL — оконные функции, CTE, рекурсивные запросы, профилирование запросов – Собственные функции Snowflake: streams, tasks, snowpipe, dynamic tables, row-level security – Настройка виртуальных хранилищ и оптимизация затрат на кредиты ▸ dbt + Elementary: dbt + Elementary – Написание, тестирование и документирование продакшн-моделей dbt – Интеграция Elementary для наблюдаемости данных и обнаружения аномалий – Инкрементальные стратегии dbt, снапшоты и семантический слой ▸ Azure Cloud: Azure Cloud – Azure Data Factory — разработка конвейеров, триггеры, параметризация, связанные службы – ADLS Gen2 — дизайн зон/папок, управление жизненным циклом, секционирование Parquet/Delta – Azure Key Vault — управление секретами, управляемые удостоверения – Azure Functions / Logic Apps — событийно-ориентированные триггеры и легкая автоматизация ▸ Airflow: Airflow – Разработка DAG, зависимости задач, XCom, сенсоры и управление соединениями – Развертывание и мониторинг Airflow в облачных средах ▸ Python: Python – Скриптинг конвейеров данных, основы PySpark, интеграция REST API – Модульное тестирование логики конвейеров и функций преобразования ▸ Качество данных и архитектура Medallion: Medallion Architecture: – Практический опыт внедрения архитектуры Medallion Bronze / Silver / Gold – Проверки качества данных на каждом уровне — не только на финальном уровне Gold – Обработка эволюции схемы и управление измерениями SCD Type 2 ▸ Более 4 лет профессионального опыта в инженерии данных, из которых не менее 2 лет на облачных платформах данных Azure. Приветствуется ▸ Опыт работы с Snowflake Cortex, dbt Semantic Layer или Boomi Data Hub для обогащения данных с помощью ИИ в рамках слоев конвейера. ▸ Опыт интеграции проверок качества на основе LLM или обнаружения аномалий с помощью ИИ в рабочие процессы обработки данных. ▸ Знакомство с Microsoft Fabric и OneLake как с дополнительной или будущей платформой. ▸ Знание концепции data mesh или data product thinking и их соответствие владению уровнями Medallion. ▸ Опыт работы с Terraform или Bicep для предоставления инфраструктуры Azure.

Почему стоит работать в WatchGuard? WatchGuard — мировой лидер в области сетевой безопасности и разведки, продвинутой защиты конечных точек, многофакторной аутентификации и безопасного Wi-Fi. Наши отмеченные наградами продукты и услуги доверяются более чем 18 000 реселлеров и поставщиков услуг безопасности по всему миру для защиты более чем 250 000 клиентов. Наши технологии позволяют нашим клиентам опережать все более изощренных хакеров и способствовали рекордному росту доходов WatchGuard. Штаб-квартира WatchGuard находится в Сиэтле, штат Вашингтон, а сотрудники работают удаленно и в офисах по всему миру. Культура нашей компании уделяет пристальное внимание нашим клиентам и сотрудникам. От нового сотрудника до нашего генерального директора, вы найдете, что каждый человек в WatchGuard воплощает наши основные ценности: ответственность, сообщество, принадлежность, действие, инновации и клиентоориентированность. WatchGuard предоставляет равные возможности трудоустройства для всех квалифицированных сотрудников, независимо от их расы, цвета кожи, национального происхождения, религии, происхождения, вероисповедания, беременности, возраста, пола, сексуальной ориентации (включая гендерное самовыражение или идентичность), семейного положения, физических или умственных отклонений, статуса ветерана или военного статуса, или любой другой категории, защищенной федеральными, государственными или местными законами. Наша политика равных возможностей трудоустройства (или EEO) фокусируется исключительно на талантах, трудолюбии, вкладе и фактических результатах, достигнутых каждым сотрудником WatchGuard, и на потенциале кандидатов на трудоустройство внести такой вклад. Мы считаем, что сосредоточение на защищенных характеристиках сотрудника, а не на таланте, трудолюбии и фактических результатах работы, нарушает нашу политику EEO. Как работодатель, предоставляющий равные возможности, мы стремимся к разнообразию рабочей силы. WatchGuard участвует в E-verify. WatchGuard стремится предоставлять разумное приспособление для квалифицированных лиц с ограниченными возможностями в наших процедурах подачи заявки на работу. Пожалуйста, сообщите нам, если вам нужна помощь или приспособление из-за инвалидности.

Компенсация Диапазон базовой заработной платы составляет 140 000–150 000 долларов США в год при полной занятости, не включая льготы. Ваша базовая заработная плата будет определяться вашими индивидуальными навыками, образованием и опытом. Найм на максимальном уровне диапазона обычно не практикуется, чтобы обеспечить будущий рост заработной платы.

Льготы в США · Комплексный пакет льгот, включая медицинское, стоматологическое, офтальмологическое страхование, страхование от нетрудоспособности и страхование жизни · Медицинская программа HSA · HSA с взносом работодателя · 10 оплачиваемых праздничных дней · 10 дней оплачиваемого ежегодного отпуска · 9 дней оплачиваемого больничного · Оплачиваемый отпуск по уходу за ребенком · 401(k) с соответствием взносам работодателя

Другие преимущества · Программа содействия образованию · Соответствие взносам работодателя в HSA по уходу за иждивенцами · Помощь в усыновлении · Поддержка репродуктивного здоровья · Резервный уход за семьей и домашними животными · Растущая сеть групп поддержки сотрудников (employee resource groups) · Программа направления сотрудников · Программа помощи сотрудникам