Инженер MLOps/LLMOps
Фонд социального медицинского страхования финансирует медицинские услуги в рамках Пакета гарантированной помощи и системы обязательного социального медицинского страхования Казахстана. Фонд расширяет свои цифровые услуги, возможности аналитики и инициативы в области искусственного интеллекта. Фонд создает функцию искусственного интеллекта и безопасные ИИ-решения для поддержки процессов планирования, контроля и оказания медицинской помощи. Его инициативы включают внутренние ИИ-помощники и сервисы генерации с дополненной выборкой (RAG).
Обязанности:
- Проектирование и поддержка безопасной инфраструктуры для ML и LLM продуктов, включая управление доступом, аудит журналов, управление секретами и защиту персональных и медицинских данных.
- Построение сквозных MLOps конвейеров для подготовки данных, обучения, валидации, развертывания, мониторинга и переобучения.
- Развертывание и оптимизация LLM сервисов, включая локальные модели, серверы инференса, API, GPU инфраструктуру и мониторинг производительности.
- Разработка RAG-решений для внутренних документов, нормативных актов и баз знаний; управление векторными базами данных, индексацией документов, поиском и процессами обновления данных.
- Настройка CI/CD рабочих процессов для моделей, промптов, агентных рабочих процессов и ИИ-сервисов.
- Мониторинг качества моделей, задержки, ошибок, затрат на инференс и использования вычислительных ресурсов.
- Сотрудничество с Data Scientists, ML инженерами, Data инженерами, аналитиками и бизнес-командами для реализации сценариев использования ИИ.
- Участие в выборе технологического стека и определение стандартов MLOps/LLMOps.
Требования:
- Опыт работы 2–3+ года в MLOps, LLMOps, DevOps, ML Engineering или Data Engineering.
- Отличные навыки Python и опыт создания API с использованием FastAPI или аналогичных фреймворков.
- Практический опыт работы с Docker, Kubernetes, Git и CI/CD.
- Глубокое понимание жизненного цикла ML, включая подготовку данных, обучение, оценку, развертывание, мониторинг и переобучение.
- Опыт работы с Airflow, MLflow, объектным хранилищем, совместимым с S3/MinIO, PostgreSQL и/или ClickHouse.
- Практическое знание Hugging Face, Transformers, vLLM, RAG, embeddings, векторных баз данных; опыт работы с одной или несколькими из Qdrant, pgvector, Milvus, Weaviate, Elasticsearch или OpenSearch.
- Понимание агентных рабочих процессов, вызовов инструментов, оркестрации LLM и оценки LLM.
- Опыт работы с инструментами наблюдаемости, такими как Prometheus, Grafana, OpenTelemetry, ELK/EFK, Langfuse, LangSmith или аналогичными платформами.
- Понимание IAM, управления секретами, логирования безопасности и требований к аудиту.
- Способность проектировать надежные системы, документировать технические решения и эффективно общаться с нетехническими заинтересованными сторонами.
Опционально:
- Опыт обслуживания моделей на GPU инфраструктуре.
- Опыт работы с Terraform, Helm, Argo CD, GitLab CI или GitHub Actions.
- Опыт работы с AWS, Azure, GCP, частными облаками или локальными средами.
- Опыт работы в финансовой, государственной, медицинской, страховой или других регулируемых отраслях.
- Опыт работы с OCR, классификацией документов, извлечением сущностей, семантическим поиском или RAG.
- Опыт работы с моделями обнаружения мошенничества, прогнозирования, обнаружения аномалий или скоринга рисков.
