Databricks MLOps Engineer

Заголовок: MLOps Engineer 9Core ML + MLOps Местоположение: 6 локаций

Местоположение: Мумбаи Местоположение: Бангалор Местоположение: Пуна Местоположение: Ченнаи Местоположение: Гургаон Местоположение: Хайдарабад Занятость: Полная

Описание вакансии EL3 – Databricks MLOps Engineer (Контракт) Область: Целостность платежей по претензиям | M&R, C&S, E&I Claims (предпочтительно) Опыт в актуарной аналитике и прогнозировании является дополнительным преимуществом Технологический стек: Databricks, Spark, Python, Scala, Azure, GitHub Actions, Terraform Возможности AI/LLM: Embedding Models, LLM Integration, LangChain Agentic Frameworks

Краткое описание роли EL3 Databricks MLOps Engineer — это старшая практическая роль, ответственная за автоматизацию полного жизненного цикла машинного обучения на Databricks. Это включает создание и поддержку инфраструктуры CI/CD, настройку среды, упаковку и развертывание моделей ML, поддержку воспроизводимых экспериментов и обеспечение масштабируемой оркестрации заданий для рабочих нагрузок AI/ML, включая приложения на основе LLM. Эта роль тесно сотрудничает с Data Scientists, AI/ML Engineers, командами платформ и бизнес-стейкхолдерами в области Claims Payment Integrity для обеспечения надежной, стабильной и автоматизированной доставки ML.

Ключевые обязанности

• Обеспечение и автоматизация полного жизненного цикла ML на Databricks (настройка среды, автоматизация рабочих процессов моделей, планирование заданий, точки мониторинга).
• Создание фреймворков, шаблонов и утилит, которые делают разработку и экспериментирование ML воспроизводимыми и масштабируемыми.
• Внедрение конвейеров CI/CD с использованием Git, GitHub Actions, Jenkins, Azure DevOps или аналогичных инструментов.
• Упаковка, версионирование и развертывание моделей ML в управляемых Databricks средах выполнения.
• Настройка автоматизированных рабочих процессов для обучения, переобучения, оценки и планового выполнения заданий.
• Поддержка создания и интеграции моделей машинного обучения, включая модели классификации, прогнозирования, обнаружения аномалий, NLP и PI.
• Обеспечение решений на базе LLM/GenAI путем интеграции:
  • Генерация embedding моделей
  • RAG архитектуры
  • Vector databases
  • LangChain agentic workflows
• Оптимизация использования ресурсов, конфигураций времени выполнения и паттернов выполнения кода для ML рабочих нагрузок.
• Сотрудничество с Data Scientists для преобразования экспериментальных ноутбуков в готовые к производству конвейеры.
• Внедрение элементов управления на уровне платформы для согласованности среды, управления зависимостями, контроля доступа и версионирования моделей.
• Поддержка устранения неполадок, отладки и повышения производительности ML рабочих нагрузок.
• Документирование стандартов, шаблонов, руководств и лучших практик для MLOps команд.
• Кросс-функциональная работа с командами продуктов, инженерии и аналитики в области PI.

Требуемые квалификации

• Степень бакалавра/магистра в области компьютерных наук, инженерии или смежной области
• 6–9 лет соответствующего опыта в ML Engineering, MLOps или platform engineering
• Обширный практический опыт работы с Databricks, Spark (batch/streaming), Python, Scala
• Опыт работы с инструментами жизненного цикла ML, такими как MLflow (отслеживание, упаковка, регистрация моделей)
• Обширный опыт CI/CD с использованием Git, GitHub Actions, Jenkins или Azure DevOps
• Опыт развертывания AI/ML моделей в облачных средах (предпочтительно Azure)
• Способность создавать и интегрировать embedding модели, семантические векторы и компоненты на базе LLM
• Опыт работы с LangChain для agentic workflows и интеграции инструментов/функций
• Сильные навыки решения проблем, отладки и сотрудничества

Предпочтительные квалификации

• Опыт работы с Azure OpenAI или LLM API, совместимыми с OpenAI
• Знакомство с рабочими процессами медицинских претензий, PI, FWA, выставлением счетов поставщикам или ценообразованием
• Опыт работы в Agile/Scrum средах
• Глубокое понимание лучших практик программной инженерии, упаковки, управления зависимостями

Полезные данные

• Наборы данных колл-центров (взаимодействия с участниками и поставщиками)
• Наборы данных Provider RCM (выставление счетов, кодирование, авторизация)
• Наборы данных EHR/клинических данных для междоменной валидации