Lead Databricks Architect

Должность: Ведущий архитектор Databricks Местоположение: Техас Занятость: Полная занятость

Работать в компании, где люди искренне ВЕРЯТ в то, что они делают, — это здорово! Мы стремимся привнести страсть и клиентоориентированность в бизнес.

Fractal — стратегический партнер Fortune 500 компаний в области искусственного интеллекта, миссия которого — обеспечить принятие каждого решения в организации на основе ИИ. Fractal создает мир, где индивидуальный выбор, свобода и разнообразие являются величайшими активами. Экосистему, где человеческое воображение находится в центре каждого решения. Где ни одна возможность не отвергается, а только подвергается сомнению, чтобы стать лучше.

Мы верим, что истинный «фракталец» — это тот, кто наделяет воображение интеллектом. Fractal был отмечен как «Отличное место для работы» (Great Place to Work) изданием The Economic Times в партнерстве с Great Place to Work® Institute и признан Gartner «Классным поставщиком» (Cool Vendor) и «Поставщиком, за которым стоит следить» (Vendor to Watch).

Местоположение: Даллас, Техас (на территории клиента)

Примечание: Эта должность в настоящее время не дает права на спонсорство иммиграции.

Обзор роли

Fractal ищет опытного ведущего архитектора Databricks для руководства проектированием, внедрением, модернизацией и управлением корпоративными платформами данных и ИИ на базе Databricks для ведущей мировой организации.

Это клиентская архитектурная роль для специалиста, сочетающего глубокую техническую экспертизу с сильными навыками взаимодействия с заинтересованными сторонами. Ведущий архитектор Databricks будет тесно сотрудничать с бизнес-стейкхолдерами, владельцами продуктов, инженерами данных, специалистами по данным, корпоративными архитекторами и командами облачных платформ для создания масштабируемых, безопасных и ориентированных на бизнес платформ и продуктов данных.

Идеальный кандидат обладает глубокой экспертизой в архитектуре Databricks Lakehouse, облачных технологиях обработки данных, аналитике, обеспечении возможностей ИИ/МО и управлении данными. Он будет отвечать за определение архитектуры решений, установление инженерных стандартов, руководство командами разработки, решение сложных технических проблем и выступление в качестве доверенного консультанта для клиентов на протяжении всего жизненного цикла решения.

Успех в этой роли требует баланса между практическим архитектурным лидерством, технической глубиной, управлением стейкхолдерами и выполнением проектов, помогая организациям ускорить их трансформацию в области данных и ИИ, обеспечивая при этом масштабируемость, управляемость, производительность и соответствие решений бизнес-целям.

Основные обязанности

Партнерство с клиентом и руководство решением

• Выступать в качестве основного архитектурного лидера Databricks для клиентских инициатив в области данных и ИИ.
• Тесно сотрудничать с бизнес-стейкхолдерами, владельцами продуктов, корпоративными архитекторами, инженерными командами и командами облачных платформ для предоставления решений, ориентированных на бизнес.
• Выступать в качестве доверенного консультанта, предоставляя архитектурное руководство и технические рекомендации, которые балансируют бизнес-требования, масштабируемость, безопасность и стоимость.
• Преобразовывать бизнес- и функциональные требования в масштабируемые архитектуры платформ данных и подходы к их реализации.
• Руководить архитектурными решениями и решать сложные технические проблемы на протяжении всего жизненного цикла разработки.
• Сотрудничать с клиентскими командами для установления инженерных стандартов, шаблонов решений и лучших практик разработки.
• Обеспечивать постоянное техническое лидерство, оставаясь при этом активно вовлеченным в выполнение проектов и поставку.

Архитектура Databricks и инженерия платформ

• Проектировать и внедрять крупномасштабные корпоративные платформы данных с использованием Databricks Lakehouse Platform.
• Руководить архитектурой и внедрением:
  • Delta Lake
  • Unity Catalog
  • Databricks Workflows
  • Databricks SQL
  • MLflow
  • Delta Live Tables (DLT)
  • Lakehouse Monitoring
  • Mosaic AI
• Разрабатывать эталонные архитектуры, многократно используемые фреймворки и инженерные стандарты для ускорения разработки решений.
• Проектировать масштабируемые архитектуры пакетной, потоковой, почти в реальном времени и событийно-ориентированной обработки.
• Проектировать уровни корпоративного сбора, преобразования, хранения, использования данных и оркестрации.
• Проектировать стратегии развертывания в нескольких средах, поддерживающие разработку, тестирование и производственные нагрузки.
• Обеспечивать оптимизацию производительности платформы, масштабируемость, отказоустойчивость и операционную эффективность.

Инженерия данных и продукты данных

• Проектировать многократно используемые конвейеры данных, поддерживающие структурированные, полуструктурированные и неструктурированные данные.
• Определять масштабируемые архитектуры продуктов данных, соответствующие бизнес-доменам и потребностям корпоративной аналитики.
• Руководить командами по подходам к моделированию данных, включая методологии Medallion, Dimensional и Data Vault.
• Проектировать шаблоны интеграции с корпоративными приложениями, API, BI-платформами и последующими аналитическими экосистемами.
• Устанавливать стандарты для качества данных, происхождения данных, наблюдаемости, управления метаданными и операционного мониторинга.
• Обеспечивать надежность, управляемость, обнаруживаемость и возможность повторного использования продуктов данных в масштабах предприятия.

Управление данными, безопасность и надежность

• Внедрять управляющие фреймворки с использованием Unity Catalog и корпоративных платформ управления.
• Определять стандарты для контроля доступа к данным, безопасности, конфиденциальности, происхождения данных и аудируемости.
• Устанавливать общекорпоративные практики для управления метаданными, управления данными и владения данными.
• Проектировать решения, соответствующие нормативным требованиям, требованиям соответствия и корпоративным требованиям безопасности.
• Сотрудничать с командами по безопасности и инфраструктуре для внедрения масштабируемых и безопасных архитектур данных.
• Обеспечивать наблюдаемость платформы, мониторинг, оповещение и готовность к поддержке.

Обеспечение возможностей ИИ/МО и GenAI

• Проектировать корпоративные платформы, поддерживающие передовую аналитику, машинное обучение, GenAI и агентные ИИ-сценарии использования.
• Обеспечивать основы данных, готовые к ИИ, посредством надежного управления, качества и управления жизненным циклом данных.
• Проектировать возможности жизненного цикла МО с использованием MLflow и сервисов Databricks AI.
• Поддерживать внедрение архитектур Retrieval-Augmented Generation (RAG) с использованием корпоративных данных.
• Сотрудничать с командами специалистов по данным для операционализации решений машинного обучения и ИИ.
• Определять архитектурные шаблоны, поддерживающие развертывание моделей, мониторинг, управление и масштабируемость.

Облачная архитектура и интеграция

• Проектировать решения Databricks в средах Azure, AWS или GCP.
• Проектировать безопасные шаблоны интеграции между Databricks и корпоративными системами.
• Руководить инициативами по облачной модернизации и миграции с устаревших платформ данных.
• Определять архитектурные стандарты для сетевых технологий, безопасности, управления идентификацией и отказоустойчивости.
• Сотрудничать с командами платформ и инфраструктуры для обеспечения надежности, масштабируемости и операционной эффективности.

Техническое лидерство и выполнение проектов

• Обеспечивать повседневное архитектурное руководство для локальных и удаленных инженерных команд.
• Проводить обзор проектных решений на предмет масштабируемости, производительности, поддерживаемости и безопасности.
• Менторить инженеров данных, технических лидеров и младших архитекторов.
• Продвигать лучшие инженерные практики, качество кода, тестирование и стандарты развертывания.
• Поддерживать инициативы CI/CD, DevOps, Infrastructure-as-Code и автоматизации.
• Участвовать в оценке, техническом планировании, управлении рисками и обзорах решений.
• Помогать командам проактивно выявлять и смягчать технические риски и проблемы при выполнении проектов.

Требуемый опыт

• Более 10 лет опыта в области инженерии данных, аналитики, облачных платформ или корпоративной архитектуры данных.
• Более 5 лет практического опыта в архитектуре и внедрении Databricks.
• Подтвержденный опыт руководства архитектурой и технической реализацией корпоративных инициатив по платформам данных.
• Опыт прямой работы с бизнес-стейкхолдерами, командами продуктов и инженерными организациями.
• Успешный опыт проектирования масштабируемых, безопасных и облачных платформ данных.
• Опыт руководства распределенными локальными/удаленными командами разработки.
• Отличные навыки коммуникации, управления стейкхолдерами и клиентского консалтинга.

Техническая экспертиза Databricks

Глубокая экспертиза в:

• Databricks Lakehouse Platform

• Apache Spark

• PySpark

• SQL

• Python

• Delta Lake

• Unity Catalog

• Databricks Workflows

• Databricks SQL

• Опыт создания крупномасштабных пакетных и потоковых решений для обработки данных.

• Глубокое понимание масштабируемости платформ данных, оптимизации, настройки производительности и управления рабочими нагрузками.

• Опыт внедрения моделей управления, безопасности и контроля доступа в Databricks.

• Опыт проектирования развертываний Databricks для нескольких рабочих областей и корпоративного уровня.

Инженерия и архитектура данных

Глубокое понимание:

• Моделирование данных

• Хранилища данных

• Управление данными

• Управление метаданными

• Качество данных

• Управление основными данными

• Архитектура продуктов данных

• Опыт работы с современными шаблонами архитектуры данных, включая концепции Lakehouse, Medallion и Data Mesh.

• Опыт интеграции корпоративных экосистем данных и аналитических платформ.

• Знакомство с dbt, Kafka, API и корпоративными шаблонами интеграции данных.

Облачные технологии и DevOps

Значительный опыт работы с одной или несколькими облачными платформами:

• Microsoft Azure (предпочтительно)

• Amazon Web Services (AWS)

• Google Cloud Platform (GCP)

• Опыт работы с CI/CD, DevOps, Infrastructure-as-Code и автоматизированными практиками развертывания.

• Знакомство с Terraform, Git-based разработкой, инструментами мониторинга, логирования и эксплуатации.

• Понимание облачных сетей, безопасности, аутентификации и управления доступом.

Обеспечение возможностей ИИ/МО

• Опыт проектирования платформ, поддерживающих машинное обучение и передовые аналитические нагрузки.
• Знакомство с MLflow, MLOps, управлением жизненным циклом моделей и архитектурами платформ ИИ.
• Желателен опыт работы с GenAI, архитектурами RAG, векторным поиском и корпоративными сценариями использования ИИ.
• Способность преобразовывать бизнес-возможности в практические решения в области ИИ, данных и аналитики.

Предпочтительный опыт

• Опыт поддержки клиентов из списка Fortune 500.
• Опыт работы в сферах здравоохранения, наук о жизни, фармацевтики, дистрибуции, розничной торговли или строго регулируемых отраслях.
• Сертификация Databricks Certified Data Engineer Professional или эквивалентная сертификация Databricks.
• Сертификаты Azure, AWS или GCP.
• Опыт работы с:
  • Azure Data Factory
  • Azure Synapse Analytics
  • Snowflake
  • Power BI
  • Tableau
  • Kafka
  • Collibra
  • Microsoft Purview
  • Informatica
• Опыт поддержки инициатив по трансформации ИИ/МО и GenAI.
• Опыт работы с моделями корпоративного управления данными и операционными моделями продуктов данных.
• Опыт работы в рамках глобальной модели распределенной разработки (локально/удаленно).

Метрики успеха

Ведущий архитектор Databricks будет оцениваться по следующим показателям:

• Успешная поставка корпоративных платформ данных и ИИ.
• Масштабируемость, надежность и производительность платформы.
• Принятие продуктов данных и реализация бизнес-ценности.
• Качество данных, управление и операционная зрелость.
• Производительность инженерии за счет многократно используемых шаблонов и стандартов.
• Успешное внедрение инициатив в области ИИ/МО и GenAI.
• Сокращение затрат на платформу за счет оптимизации и практик FinOps.
• Удовлетворенность заинтересованных сторон и отношения доверенного консультанта.
• Техническое лидерство, наставничество и совершенство в реализации.

Оплата

Указанный диапазон заработной платы для этой должности учитывает широкий спектр факторов, которые принимаются во внимание при принятии решений о компенсации, включая, помимо прочего, набор навыков; опыт и обучение; лицензии и сертификаты; а также другие потребности бизнеса и организации. Указанная оценка диапазона не скорректирована с учетом применимого географического дифференциала, связанного с местом, где может быть занята должность. Во Fractal обычно не ожидается, что сотрудник будет нанят на уровне или близко к верхней границе диапазона для своей должности, и решения о компенсации зависят от фактов и обстоятельств каждого случая. Разумная оценка текущего диапазона: $150,000 - $175,000. Кроме того, за текущий отчетный период вы можете иметь право на получение дискреционного бонуса.

Преимущества

Как штатный сотрудник компании или как почасовой сотрудник, работающий более 30 часов в неделю, вы будете иметь право на участие в планах медицинского, стоматологического, офтальмологического страхования, страхования жизни и страхования от инвалидности в соответствии с документами плана, которые могут время от времени изменяться. Вы будете иметь право на получение льгот с первого дня трудоустройства в Компании. Кроме того, вы будете иметь право на участие в плане 401(k) Компании через 30 дней после трудоустройства, в соответствии с применимыми условиями плана. Компания предоставляет 11 оплачиваемых праздников и 12 недель отпуска по уходу за ребенком. Мы также следуем политике «свободного времени» (PTO), предоставляя вам гибкость в использовании времени, необходимого для больничного или отпуска.