Название: Старший архитектор данных - Azure & Lakehouse | Только Мексика и LATAM | Требуется знание английского языка
Местоположение: Мексика / Удаленно
Присоединяйтесь к DaCodes!
Мы — компания экспертов в области высокоэффективного программного обеспечения и цифровой трансформации.
В течение 10 лет мы создаем решения, ориентированные на технологии и инновации, благодаря нашей команде из почти 300 талантливых DaCoders, включая разработчиков, архитекторов, UX/UI дизайнеров, PM-ов, QA-тестировщиков и других. Наша команда сотрудничает над проектами с клиентами из LATAM и США, добиваясь выдающихся результатов.
В DaCodes у вас будет возможность для профессионального развития, работы над разнообразными проектами в различных отраслях и внесения вклада в проектирование, внедрение и оптимизацию облачных инфраструктур.
Наши DaCoders оказывают огромное влияние на успех нашего бизнеса и наших клиентов. Вы будете экспертом, участвующим в наших проектах, и получите доступ к прорывным стартапам и мировым брендам.
Заинтересованы?
Мы ищем Старшего архитектора данных для модернизации устаревших ETL-нагрузок в масштабируемые облачные озерные архитектуры (lakehouse architectures) на Azure.
Эта роль сочетает в себе ответственность за архитектуру, практический технический анализ и руководство для трех инженеров или разработчиков, работающих одновременно. Вы будете исследовать существующие производственные нагрузки, определять шаблоны миграции и принимать проектные решения при неполных требованиях или документации.
Вы также будете осуществлять технический надзор в рамках рабочего процесса модернизации с помощью ИИ, проверяя автоматизированный анализ, утверждая планы внедрения и решая исключительные ситуации, требующие человеческого суждения. Четкая, поддающаяся аудиту документация и ответственность за технические решения являются центральными для этой роли.
Местоположение: Удаленно, открыто для кандидатов из Мексики и Латинской Америки.
Язык: Требуется знание английского языка для технических обсуждений, сотрудничества и документации.
Требования
Основные обязанности
- Анализ устаревших производственных нагрузок: Реверс-инжиниринг рабочих процессов Alteryx, пакетов SSIS и заданий SQL Server для выявления фактического поведения, незадокументированных зависимостей, исторических исправлений и неявной бизнес-логики.
- Проверка автоматизированного анализа: Аудит отчетов, сгенерированных агентами анализа, на соответствие исходным артефактам, устранение расхождений, упущений и необоснованных предположений.
- Принятие решений по облачной архитектуре: Определение целевой архитектуры lakehouse и установление шаблонов приема данных, типов данных, стратегий секционирования, соглашений об именовании и стандартов масштабируемости.
- Определение управления и безопасности: Установление практик моделирования данных, отслеживания происхождения данных (lineage), доступа и управления, включая политики безопасности в Unity Catalog.
- Утверждение планов внедрения: Проверка и формальное утверждение документированных планов проектирования, включая plan.md, перед авторизацией автоматической генерации кода.
- Решение технических эскалаций: Выступление в качестве окончательного технического авторитета по исключениям, бизнес-неопределенностям и ограничениям мультиагентной системы, помеченным как требующие человеческого вмешательства.
- Руководство инженерной командой: Предоставление технического руководства, проверка подходов к внедрению и помощь до трех инженерам или разработчикам одновременно.
- Утверждение интеграций: Выступление в качестве обязательного технического рецензента pull-запросов, нацеленных на защищенные ветки, такие как preprod и main.
- Поддержание прослеживаемости решений: Документирование предположений, альтернатив, компромиссов и утверждений, чтобы архитектурные решения могли быть проверены и аудированы.
Опыт и технические навыки, необходимые для работы
- Опыт на уровне старшего специалиста в области инженерии данных и архитектуры данных, с прямым владением решениями по проектированию облачной архитектуры.
- Подтвержденный опыт руководства модернизацией устаревших ETL-нагрузок в архитектуры lakehouse.
- Практический опыт работы с Apache Spark в производственной среде и PySpark для обработки и трансформации данных.
- Глубокие знания Delta Lake, архитектуры Medallion, паттернов lakehouse и концепций хранилищ данных.
- Опыт работы с облачными платформами данных Azure.
- Глубокие знания SQL Server, T-SQL и SSIS, включая способность анализировать существующую ETL-логику и зависимости.
- Опыт работы с моделированием данных, управлением данными и отслеживанием происхождения данных (data lineage).
- Практический опыт работы с Azure DevOps, совместной работой на основе Git, CI/CD и обзорами pull-запросов.
- Опыт предоставления технического руководства инженерам или разработчикам; формальный опыт управления людьми не требуется.
- Способность принимать обоснованные решения при неполной информации, проверять предположения и документировать обоснование технических выборов.
- Отличные коммуникативные навыки для объяснения проектных решений, уточнения бизнес-правил и координации внедрения.
- Владение английским языком на уровне, достаточном для самостоятельного участия в технических дискуссиях и подготовки четкой документации.
Желательно — не является препятствием
- Практический опыт работы с Databricks и Unity Catalog.
- Опыт анализа или миграции рабочих процессов Alteryx.
- Опыт работы со стриминговыми технологиями, такими как Solace, Kafka или Lakeflow.
- Более широкий опыт DevOps в поддержке предоставления платформ данных.
- Опыт работы с SAST-контролями и инструментами управления уязвимостями, такими как Fluid Attacks или аналогичные платформы.
- Опыт проверки анализа или кода, сгенерированного ИИ, в рамках инженерного рабочего процесса.
Преимущества
- Работа с мировыми брендами и прорывными стартапами.
- Удаленная работа/Домашний офис.
- График работы, согласованный с вашей назначенной командой/проектом.
- Работа с понедельника по пятницу.
- Выходной в день рождения.
- Страхование основных медицинских расходов (применимо в Мексике).
- Страхование жизни (применимо в Мексике).
- Мультикультурные команды.
- Доступ к курсам и сертификатам.
- Виртуальные мероприятия по тимбилдингу и группы по интересам.
- Уроки английского языка.
- Возможности внутри наших различных бизнес-направлений.
- С гордостью сертифицированы как Great Place to Work.
