⚡️Middle Data Engineer — Databricks / PySpark / Data Vault
Мы ищем Senior Data Engineer с сильным опытом работы с Databricks, PySpark и моделированием данных для присоединения к команде разработки корпоративной платформы данных, создающей Lakehouse для веб-приложения, LLM-агентов и ML-моделей.
Компания: Data Smart Solutions LLC
Должность: Middle Data Engineer
Зарплата: $600 – $800 (Net) + бонус по результатам работы
Формат: Удаленно
Основные требования:
- Значительный опыт работы с Databricks и архитектурой Lakehouse medallion (bronze / silver / gold)
- Продвинутые навыки PySpark для построения трансформаций в ноутбуках
- Практический опыт работы с Delta Lake
- Опыт моделирования Data Vault (hubs, links, satellites)
- Опыт работы с многомерным моделированием (факты и измерения)
- Опыт приема данных с использованием Fivetran и пользовательских API-интеграций
- Опыт работы с базами данных Oracle SQL в качестве исходных систем
- Оптимизация производительности Spark, включая обработку skew и Liquid Clustering
- Опыт развертывания с помощью Databricks Asset Bundles (DABs)
- Опыт работы с Unity Catalog, RBAC на основе групп и маскированием PII
Желательно:
- Опыт работы с Great Expectations или аналогичными фреймворками для обеспечения качества данных
- Опыт обработки неструктурированных файлов в Blob storage
- Опыт поддержки LLM / agent и ML use cases с использованием курированных данных
Над чем вы будете работать:
- Построение и поддержка Databricks Lakehouse по архитектуре medallion
- Прием данных из систем Oracle и API в bronze слой
- Моделирование silver слоя с использованием Data Vault и gold слоя с использованием многомерных моделей
- Оптимизация производительности Spark и макетов таблиц Delta
- Внедрение управления, контроля доступа и маскирования PII в Unity Catalog
- Замена ручных процессов планирования и электронных таблиц унифицированной платформой данных
- Сотрудничество с командой разработки, которая строит поверх gold слоя для веб-приложения, LLM и ML моделей
Готовы подать заявку? Заполните форму здесь
По вопросам/заявкам: контакт рекрутера
