Название: Старший администратор/архитектор Databricks
Местоположение: Валенсия / Испания / Валенсия Испания / Удаленно
В настоящее время у нас есть вакансия для Старшего администратора/архитектора Databricks, свободно владеющего английским языком, для удаленного предоставления своих услуг в качестве эксперта. В рамках первого задания успешный кандидат будет интегрирован в команду разработки компании, которая будет тесно сотрудничать с ИТ-командой крупного клиента.
Ваши задачи:
- Сотрудничество с командой платформ данных и интеграции в области проектирования и внедрения масштабируемых корпоративных решений для платформ данных с использованием Azure Databricks, Delta Lake, Unity Catalog, Azure Data Lake Storage Gen2, Azure Data Factory, Azure Event Hub, Azure SQL и сопутствующих сервисов Azure;
- Проектирование и разработка корпоративных фреймворков для обработки данных, поддерживающих пакетную обработку, потоковую обработку, ELT/ETL и аналитические рабочие нагрузки в режиме реального времени;
- Администрирование и поддержка рабочих пространств Azure Databricks, включая настройку кластеров, планирование заданий, администрирование рабочих пространств, внедрение Unity Catalog, управление секретами, политики вычислений, политики кластеров и управление рабочими пространствами;
- Определение и внедрение корпоративной архитектуры безопасности, включая интеграцию идентификации с Microsoft Entra ID (Azure AD), управление доступом на основе ролей (RBAC), управление привилегированным доступом (PIM), шифрование данных, частные сети, управляемые удостоверения, интеграцию с Key Vault и безопасные модели доступа;
- Установление корпоративных стандартов управления данными с использованием Unity Catalog, включая отслеживание происхождения данных, качество данных, управление метаданными, организацию каталога, политики доступа и возможности аудита;
- Развертывание и настройка конвейеров CI/CD с использованием Azure DevOps и Databricks Asset Bundles (DAB), инфраструктуры как кода (Terraform/Bicep, где применимо), автоматизации развертывания, управления релизами и стратегий продвижения сред;
- Оптимизация рабочих нагрузок Databricks посредством тюнинга производительности, оптимизации Spark, настройки размеров кластеров, изоляции рабочих нагрузок, стратегий кэширования, партиционирования, оптимизации Delta, Photon и лучших практик оптимизации затрат;
- Проектирование корпоративного мониторинга, журналирования, операционных панелей, оповещений и мониторинга состояния платформы с использованием Azure Monitor, Log Analytics, Application Insights и системных таблиц Databricks;
- Разработка повторно используемых архитектурных паттернов, эталонных реализаций, стандартов разработки, соглашений об именовании, стандартов кодирования, операционных процедур и документации по платформе;
- Поддержка миграции устаревших корпоративных хранилищ данных, решений ETL и платформ отчетности в Azure Databricks и современную архитектуру Lakehouse;
- Предоставление технической поддержки и устранение неполадок в производственных инцидентах, связанных с Azure Databricks, рабочими нагрузками Spark, конвейерами данных и инфраструктурой платформы.
Требования
- Высшее образование в сочетании с соответствующим профессиональным опытом в ИТ – 9 лет;
- Не менее 8 лет опыта в проектировании и внедрении корпоративных платформ данных;
- Не менее 5 лет практического опыта работы с Azure Databricks в корпоративных средах;
- Опыт проектирования современных решений Lakehouse с использованием Azure Databricks и Delta Lake;
- Опыт администрирования рабочих пространств Azure Databricks, кластеров, Unity Catalog, политик вычислений, оркестрации заданий и безопасности рабочих пространств;
- Опыт разработки решений для обработки данных с использованием Apache Spark (PySpark и/или Spark SQL);
- Опыт внедрения корпоративного управления данными с использованием Unity Catalog, управления метаданными, отслеживания происхождения данных и детальных политик доступа;
- Опыт внедрения инфраструктуры как кода с использованием Terraform и/или Bicep;
- Значительный опыт внедрения конвейеров CI/CD с использованием Azure DevOps, автоматизированного тестирования, управления релизами и автоматизации развертывания;
- Опыт проектирования и работы с корпоративными архитектурами безопасности, включая RBAC, управляемые удостоверения, частные конечные точки, интеграцию с Key Vault, шифрование и сетевую безопасность;
- Опыт внедрения корпоративных фреймворков качества данных, мониторинга, наблюдаемости и операционных панелей;
- Глубокое понимание методов моделирования данных, включая измерение, Data Vault, архитектуру Medallion и концепции корпоративных хранилищ данных;
- Глубокие знания Azure Data Lake Storage Gen2, Azure Data Factory, Azure Event Hub, Azure SQL Database, Azure Key Vault, Azure Monitor, Microsoft Entra ID (Azure AD) и сетевых технологий Azure;
- Сильные навыки программирования на SQL и владение разработкой на Python и PySpark;
- Знание рабочих нагрузок AI/ML, Databricks ML, Feature Store, Model Serving и архитектур Generative AI считается преимуществом;
- Опыт работы с Power BI, Microsoft Fabric, Synapse Analytics или другими корпоративными аналитическими платформами весьма желателен;
- Желателен опыт работы в крупных международных организациях, НПО или агентствах ООН;
- Желательны следующие сертификаты: Databricks Certified Platform, Architecture/Microsoft Azure Solution Architecture Expert/Databricks, Certified Data Engineer Associate/Professional;
- Отличное знание английского языка.
Преимущества
Если вы ищете карьеру в динамичной и интересной компании, где вы будете предлагать свои услуги в команде крупного Европейского учреждения, работая в международной, многоязычной и многокультурной среде, где вы сможете реально изменить ситуацию к лучшему, пожалуйста, отправьте нам свое подробное резюме на английском языке, указав ссылку (20199/10/2026).
Мы предлагаем конкурентоспособное вознаграждение (на контрактной основе или вознаграждение с полным пакетом льгот), основанное на квалификации и опыте. Все заявки будут рассматриваться конфиденциально.
EUROPEAN DYNAMICS (ED) — ведущая компания в области программного обеспечения, информации и коммуникационных технологий, работающая на международном уровне (Афины, Брюссель, Люксембург, Копенгаген, Стокгольм, Лондон, Никосия, Гонконг, Валетта и т. д.). В компании работает более 1000 инженеров, ИТ-специалистов и консультантов (около 3% докторов наук, 36% магистров и 53% бакалавров или эквивалент). Мы проектируем и разрабатываем программные приложения с использованием самых современных технологий. Годовой доход группы составляет около 40 миллионов евро, а EBITDA — около 20%. Стоимость нашего портфеля контрактов превышает 250 миллионов евро. EUROPEAN DYNAMICS является известным поставщиком ИТ-услуг государственным учреждениям, транснациональным корпорациям, государственным администрациям и многонациональным компаниям.
В рамках нашей приверженности разнообразию нашей рабочей силы мы стремимся к равному трудоустройству без учета расы, цвета кожи, национального происхождения, этнической принадлежности, пола, инвалидности, сексуальной ориентации, гендерной идентичности или религии.
EUROPEAN DYNAMICS (ED) придерживается принципов Общего регламента по защите данных, применяя свою Политику конфиденциальности. Подавая заявку на эту вакансию и делясь своими личными данными с ED, вы признаете и принимаете Политику и разрешаете ED обрабатывать ваши личные данные для целей возможностей найма компании в соответствии с Политикой.
