Forward Deployed - Data Architect

Возможность ShyftLabs — быстрорастущая компания в области данных и технологий, сотрудничающая с организациями из списка Fortune 500 для предоставления инновационных, основанных на данных решений. Мы специализируемся на создании масштабируемых корпоративных платформ, которые помогают бизнесу раскрывать ценность своих данных с помощью современных облачных технологий, продвинутой аналитики и возможностей на базе искусственного интеллекта. Мы ищем опытного архитектора данных для прямой работы с корпоративными клиентами, предоставляя архитектурное руководство и практический технический опыт в рамках современных инициатив по работе с данными. Эта роль, ориентированная на клиента, сочетает в себе архитектуру решений, технический консалтинг и контроль за выполнением, требуя способности преобразовывать сложные бизнес-требования в масштабируемые, безопасные и надежные решения для данных. Вы будете тесно сотрудничать с заинтересованными сторонами клиента, инженерными командами и технологическими партнерами для определения архитектурного направления, установления инженерных стандартов и руководства реализацией платформы данных от проектирования до производства. Вы также будете проверять разработанные партнерами архитектуры, код, модели данных и конвейеры, чтобы гарантировать соответствие решений корпоративным требованиям и лучшим практикам. Идеальный кандидат — это технически сильный, практический архитектор, который может уверенно взаимодействовать с высокопоставленными заинтересованными сторонами клиента, четко доносить сложные технические концепции и влиять на архитектурные решения, поддерживая при этом распределенные инженерные команды.

Что вы будете делать Руководство обсуждениями архитектуры с клиентами: Работайте напрямую с заинтересованными сторонами клиента, чтобы понять бизнес-цели, технические требования, существующие среды данных и архитектурные проблемы. Преобразуйте эти потребности в практические, масштабируемые архитектурные решения для данных. Определение корпоративной архитектуры данных: Проектируйте и рекомендуйте современные архитектуры платформ данных с использованием Azure Databricks, Delta Lake и облачных технологий инжиниринга данных, обеспечивая соответствие целям клиента и корпоративным стандартам. Управление техническим исследованием и проектированием решений: Проводите технические семинары, сессии исследования и обзоры архитектуры для оценки текущего состояния сред, выявления пробелов, оценки вариантов решений и определения целевых архитектур. Предоставление практического технического руководства: Разрабатывайте, проверяйте и рецензируйте решения по инжинирингу данных с использованием SQL, Python/PySpark, Apache Airflow и dbt Core, балансируя архитектурный надзор с практическим опытом реализации. Руководство разработкой конвейеров данных: Установите стандарты архитектуры и реализации для конвейеров приема данных, которые интегрируют API, базы данных, файлы и облачные источники данных с использованием нативных возможностей Databricks, таких как Lakeflow Connect и Auto Loader. Установление стандартов архитектуры данных: Определяйте и продвигайте повторно используемые архитектурные шаблоны, руководства по реализации и лучшие инженерные практики в клиентских проектах и распределенных командах. Реализация архитектуры Medallion: Проектируйте и руководствуйте реализацией уровней данных Bronze, Silver и Gold для поддержки надежного приема, стандартизированных преобразований, курируемых продуктов данных и последующей аналитики. Управление управлением данными и моделированием: Установите соответствующие практики для Unity Catalog, контроля доступа к данным, отслеживания происхождения, семантического моделирования, обнаруживаемости данных и корпоративного управления данными. Контроль технической реализации и качества: Проверяйте результаты работы партнеров и инженерных команд, включая архитектурные проекты, код, модели данных и конвейеры, обеспечивая соответствие требованиям, ожиданиям по производительности, стандартам безопасности и долгосрочной поддерживаемости. Продвижение качества и надежности данных: Определяйте стандарты для проверки данных, автоматизированного тестирования, мониторинга конвейеров, обработки ошибок и готовности к эксплуатации для обеспечения надежных производственных продуктов данных. Поддержка CI/CD и автоматизации инжиниринга: Руководствуйте внедрением рабочих процессов на основе Git, автоматизированным тестированием, конвейерами CI/CD и контролируемыми практиками развертывания в средах разработки, тестирования и производства. Консультирование по оптимизации производительности и затрат: Оценивайте производительность платформы, эффективность обработки, масштабируемость и использование облачных ресурсов, рекомендуя улучшения, которые сбалансируют технические требования с бизнес-ценностью. Управление разработкой на основе ИИ и спецификаций: Поощряйте эффективное использование инструментов разработки на основе ИИ и практик разработки на основе спецификаций, сохраняя при этом архитектурную целостность, качество кода и стандарты реализации. Координация распределенных инженерных команд: Обеспечивайте техническое руководство, решайте архитектурные вопросы и способствуйте сотрудничеству между заинтересованными сторонами клиента, внутренними инженерами и внешними технологическими партнерами. Сообщайте о прогрессе и технических рисках: Четко сообщайте архитектурные решения, компромиссы при реализации, зависимости, риски и рекомендации как техническим, так и нетехническим заинтересованным сторонам. Поддержка сквозной реализации: Поддерживайте архитектурную ответственность на протяжении всего жизненного цикла проекта, от исследования и проектирования решений до реализации, развертывания и постоянной оптимизации.

Что вы принесете 8+ лет общего опыта в области инжиниринга данных, архитектуры данных или смежных технических ролях, с обширным практическим опытом проектирования и реализации производственных платформ данных. Подтвержденный опыт работы в клиентской технической роли, такой как архитектор данных, архитектор решений, технический консультант или ведущий инженер данных, напрямую работающий с корпоративными клиентами или заинтересованными сторонами. Прочный практический опыт работы с Azure Databricks, включая проектирование и реализацию масштабируемых корпоративных решений для данных. Глубокое понимание Delta Lake, включая управление данными, шаблоны обработки и оптимизацию производительности. Опыт работы с Unity Catalog, включая управление данными, контроль доступа, отслеживание происхождения и корпоративное управление данными. Высокий уровень владения SQL и Python/PySpark для обработки данных, преобразования и разработки конвейеров. Практический опыт работы с Apache Airflow для оркестрации и dbt Core для преобразования данных, тестирования и моделирования. Опыт проектирования конвейеров приема данных через API, реляционные базы данных, файлы и другие корпоративные источники данных. Знакомство с нативными технологиями приема данных Databricks, включая Lakeflow Connect и Auto Loader. Глубокое понимание Medallion Architecture, продуктов данных, семантического моделирования и основ качества данных. Опыт работы с CI/CD, Git, автоматизированным тестированием, мониторингом и управлением производственными конвейерами данных. Демонстрируемая способность проверять и оспаривать технические архитектуры, код, модели данных и результаты работы инженеров, предоставляя конструктивную, действенную обратную связь. Опыт преобразования бизнес-требований в технические спецификации, архитектурные проекты и дорожные карты реализации. Способность оценивать технические компромиссы и четко доводить рекомендации до технических команд, бизнес-заинтересованных сторон и руководства клиента. Опыт работы с внешними технологическими партнерами, сторонними командами по реализации или распределенными инженерными организациями. Знакомство с инструментами разработки на основе ИИ и практиками разработки на основе спецификаций. Сильные коммуникативные навыки, навыки презентации, управления заинтересованными сторонами и решения проблем. Способность управлять конкурирующими приоритетами, ориентироваться в неопределенности и строить доверительные отношения с клиентами, сохраняя при этом технический авторитет.

Диапазон заработной платы $160,000 - $190,000 (CAD)

Почему вам понравится работать в ShyftLabs В ShyftLabs ваша работа имеет значение. Мы — растущая компания по производству продуктов данных, оказывающая большое влияние на клиентов из списка Fortune 500, и по мере нашего роста у вас будет возможность формировать решения, влиять на стратегию и развивать свою карьеру вместе с нами.

Инклюзивность в ShyftLabs Мы строим что-то большое, и мы хотим, чтобы вы присоединились к нам в этом путешествии. Если вы готовы использовать данные и инновации для достижения результатов, подайте заявку сегодня, и давайте расти вместе.

ShyftLabs — работодатель, предоставляющий равные возможности, стремящийся создать безопасную, разнообразную и инклюзивную среду. Мы поощряем кандидатов любого происхождения, включая этническую принадлежность, религию, статус инвалидности, гендерную идентичность, сексуальную ориентацию, семейное положение, возраст и национальность. Если вам требуется помощь во время процесса собеседования, сообщите нам, и мы будем рады вам помочь.