ML Ops Engineer, AI Platform

Обзор компании: Мы занимаемся разработкой и управлением приложения для знакомств и поиска партнёров «Pairs», ориентированного на людей, которые серьёзно ищут партнёра. Сервис был запущен в Японии в 2012 году, в 2013 году вышла тайваньская версия, а в 2025 году — корейская. Общее количество регистраций превысило 27 миллионов (по состоянию на апрель 2026 г.), и им пользуется большое количество людей. Кроме того, более 900 000 человек нашли через Pairs своих незаменимых партнёров.

Краткое описание вакансии: Команда AI занимается разработкой и управлением продуктами на основе ИИ, такими как модерация для обеспечения безопасности Pairs (Trust & Safety) и система рекомендаций. Мы используем LLM / машинное обучение для проверки текстов и изображений, принятия решений по жалобам о нарушениях, обнаружения мошенничества и т. д., а наши приложения работают на базе AWS / Google Cloud с использованием Kubernetes.

В этой должности MLOps Engineer будет работать в составе команды AI, тесно сотрудничая с командами разработки каждого ИИ-продукта (близко к роли Embedded SRE), отвечая за обеспечение как надёжности продукта, так и скорости разработки. Вы будете нести полную ответственность за кластеры Kubernetes, общие компоненты кластера, API онлайн-инференса, асинхронные воркеры, пакетные задания и конвейеры непрерывного обучения. Взаимодействуя с командами SRE, безопасности, конфиденциальности и продуктовыми командами, вы будете создавать основу для поддержки ИИ-продуктов.

Основная миссия заключается не в исследовании и разработке самих моделей, а в «создании условий для стабильной работы ИИ-продуктов в производственной среде и их быстрого и безопасного улучшения». Мы ожидаем, что вы будете активно использовать кодирующие агенты и ИИ-агентов для уменьшения рутинных операций с помощью системных решений. Кроме того, мы ожидаем, что вы будете делиться полученными знаниями и опытом из практики и реализации проектов в виде документации, линтов и тестов, которые будут использоваться в качестве «обвязки» для ИИ-агентов, способствуя развитию среды, в которой люди и агенты смогут совместно безопасно и быстро вести разработку.

Что вам предстоит делать:

• Обновление версий кластеров Kubernetes (Amazon EKS), управление группами узлов и автомасштабированием, а также обслуживание и улучшение компонентов кластера, управляемых с помощью GitOps (Argo CD / Helm / Kustomize).
• Перепроектирование наблюдаемости, мониторинга и оповещений для приложений ИИ (обеспечение метрик, логов, трассировок, создание действенных оповещений и руководств по устранению неисправностей), а также автоматизация первичного анализа оповещений с использованием ИИ-агентов.
• Разработка и эксплуатация SLI / SLO для приложений ИИ в сотрудничестве с командой SRE (установка целевых показателей на основе влияния сбоев для каждого сценария использования, оповещения о скорости нарастания ошибок, разработка рабочего процесса триажа между командами).
• Разработка и эксплуатация системы непрерывного обновления зависимых библиотек, сред выполнения Python, базовых образов и патчей безопасности для множества приложений Python, составляющих ИИ-продукты (бот автоматического обновления, управление файлами блокировки, проверка в CI).
• Руководство миграцией, связанной с обновлениями моделей и SDK LLM (например, переход на новые поколения моделей Claude на Amazon Bedrock, моделей GPT и моделей Gemini на Gemini Enterprise Agent Platform), а также проверка регрессии качества и поэтапное внедрение.
• Продвижение безопасности и защиты данных для ИИ-платформы в сотрудничестве с командой безопасности и конфиденциальности (реагирование на уязвимости и управление разрешениями с учётом атак на цепочку поставок, нацеленных на пакеты OSS и образы контейнеров, CI/CD, а также атак, усиленных и автоматизированных ИИ, и обработка обучающих данных и логов в соответствии с правилами срока хранения данных).
• Эксплуатация и улучшение конвейеров непрерывного обучения, среды обучения и среды подготовки наборов данных с использованием Argo Workflows и Amazon SageMaker.
• Эксплуатация и улучшение среды на платформе Gemini Enterprise Agent Platform (ранее Vertex AI), используемой для обучения и пакетной обработки в области рекомендаций.
• Эксплуатация (планирование мощности, оптимизация затрат, реагирование на сбои, улучшение CI/CD и процессов выпуска) API онлайн-инференса, асинхронных воркеров на основе очередей и пакетных приложений, работающих в Kubernetes.
• Сокращение рутинных задач при разработке и эксплуатации с использованием кодирующих агентов и ИИ-агентов.
• Создание механизма для постоянного улучшения «обвязки» (документация, линтеры, тесты, проверки CI и т. д.) для ИИ-агентов, путём предоставления знаний и опыта, полученных в повседневной работе и при реализации проектов, чтобы агенты могли их использовать для справки и проверки.

Основные квалификации:

• Более 3 лет практического опыта в разработке, выпуске и эксплуатации коммерческих приложений.
• Опыт разработки производственных приложений (включая управление пакетами, проверку типов, тестирование).
• Опыт создания и эксплуатации образов контейнеров для производственной среды (создание Dockerfile, установка промежуточного ПО и т. д.).
• Опыт работы с обновлениями версий кластеров Kubernetes и эксплуатации GitOps с использованием Argo CD / Helm / Kustomize.
• Глубокое понимание AWS или Google Cloud и опыт построения и эксплуатации инфраструктуры производственной среды.
• Опыт реагирования на сбои и улучшения систем с использованием метрик, логов, трассировок и т. д.
• Опыт проектирования и эксплуатации пакетных и асинхронных обработок с учётом идемпотентности и повторных попыток.
• Опыт разработки с использованием кодирующих агентов и высокое желание использовать ИИ.
• Понимание того, как написанный вами код выполняется в среде выполнения, способность лицом к лицу сталкиваться с проблемами и решать их, работая руками.
• Способность ставить приоритеты, исходя из ценности для продукта и бизнеса, а не из стремления создавать инфраструктуру как самоцель.
• Способность находить баланс между техническими идеалами и реальностью, продвигая дела вперёд путём достижения согласия с заинтересованными сторонами.
• Языковые навыки: японский (деловой уровень и выше), английский (разговорный уровень и выше).

Предпочтительные квалификации:

• Опыт эксплуатации в производственной среде конвейеров обучения моделей машинного обучения или сервисов инференса.
• Опыт разработки/эксплуатации приложений, интегрирующих LLM (Claude на Amazon Bedrock, Gemini и т. д.), или опыт миграции моделей.
• Опыт эксплуатации движков рабочих процессов, таких как Argo Workflows или Airflow.
• Опыт руководства разработкой и внедрением SLI / SLO, а также улучшением наблюдаемости с использованием Datadog и других инструментов.
• Опыт IaC с использованием Terraform и других инструментов.
• Опыт внедрения и эксплуатации автоматизации обновления зависимостей и патчей безопасности (Renovate, Dependabot и т. д.).
• Опыт работы над мерами безопасности цепочки поставок программного обеспечения (управление уязвимостями зависимостей и образов контейнеров, защита путей сборки/выпуска) и проектированием облачных разрешений.
• Опыт проектирования и эксплуатации систем для обработки данных, содержащих личную информацию, в соответствии с правилами срока хранения и целей использования.
• Опыт улучшения CI/CD и инжиниринга выпусков с использованием GitHub Actions и других инструментов.
• Практический опыт автоматизации эксплуатации с использованием ИИ-агентов (помощь в анализе сбоев, сокращение рутинных задач и т. д.).
• Опыт создания и постоянного улучшения качества работы агентов путём подготовки инструкций (AGENTS.md и т. д.) и линтеров/тестов для ИИ-агентов.
• Опыт использования/эксплуатации ML-платформ, таких как Amazon SageMaker или Gemini Enterprise Agent Platform (ранее Vertex AI).
• Опыт построения и эксплуатации конвейеров данных с использованием BigQuery, Amazon Athena и других инструментов.
• Опыт работы с Policy as Code, используя OPA Gatekeeper, Conftest и другие инструменты.
• Опыт самостоятельного изучения новых технологий и работы в широком спектре областей без ограничений.

Используемые инструменты:

• Языки программирования: Python, Go, Shell
• Приложения / ML: FastAPI, Uvicorn, LightGBM, scikit-learn, pandas, Polars, PyTorch
• LLM: Amazon Bedrock (Claude, GPT), Google Gen AI SDK (Gemini)
• Платформа контейнеров: Amazon EKS, Argo CD, Argo Workflows, KEDA, External Secrets Operator, OPA Gatekeeper, Cluster Autoscaler, Helm, Kustomize
• AWS: Amazon SageMaker, Amazon SQS, Amazon S3, Amazon Athena, AWS Glue, Amazon Aurora (совместимый с MySQL), Amazon DynamoDB и др.
• Google Cloud: BigQuery, Gemini Enterprise Agent Platform (ранее Vertex AI) и др.
• IaC: Terraform
• Наблюдаемость: Datadog (APM, Logs, Monitors, Synthetics), Fluent Bit
• Безопасность: Wiz, OPA Gatekeeper, Conftest
• Разработка: Git, GitHub, GitHub Actions, Docker, uv, Ruff, mypy, pytest, Renovate / Dependabot, Jira Cloud, Confluence, Slack
• Инструменты ИИ: Claude Code Enterprise, Codex / ChatGPT Enterprise, Cursor Enterprise, Gemini Enterprise