Head of ML/AI Platform

Moscow, Russia15 days ago

Details

Grade

Head

Work format

Remote

An email or a Telegram message to the recruiter

Develop an LLM platform as an internal product: a gateway to models considering quotas and costs, self-hosted inference, model selection and evaluation (evals, benchmarks), sensitive data protection, basic infrastructure for agent scenarios
Transition product integrations from external LLMs to models within our own environment and models from Russian providers
Be responsible for GPU capacity: capacity planning, redundant deployment, choosing between rental and owned hardware, calculating ROI, CAPEX/OPEX budget
Maintain and evolve the ML platform: Kubernetes, model registry, serving, updates for security requirements, observability, and reliability

Experience leading an ML or LLM platform or an infrastructure team
Practical understanding of LLM infrastructure: serving (vLLM, TGI, Triton, or similar), GPU limitations and utilization, performance, token cost, model quality evaluation, trade-offs between in-house models and external APIs
MLOps experience: Kubernetes, model registry and tracking (MLflow or similar), model CI/CD, operating a large number of models
Ability to manage an internal product: translating vague requests into tasks with clear success criteria, saying "no" with an alternative, keeping the team's focus on 2-3 main goals
Experience with security and regulatory requirements: ability to negotiate phased implementation rather than accepting the entire scope at once

Remote work with the option to visit the office in Moscow, Saint Petersburg, and Novosibirsk

Задачи:

Развивать LLM-платформу как внутренний продукт: шлюз к моделям с учётом квот и стоимости, self-hosted инференс, выбор и оценка моделей (evals, бенчмарки), защита чувствительных данных, базовая инфраструктура для агентских сценариев.
Переводить продуктовые интеграции с внешних LLM на модели в собственном контуре и модели российских провайдеров.
Отвечать за GPU-мощности: планирование ёмкости, размещение с резервированием, выбор между арендой и своим железом, расчёт окупаемости, бюджет CAPEX/OPEX.
Поддерживать и эволюционно развивать ML-платформу: Kubernetes, model registry, serving, обновления под требования безопасности, наблюдаемость и надёжность.

Требования:

Опыт руководства ML- или LLM-платформой либо инфраструктурной командой.
Практическое понимание LLM-инфраструктуры: serving (vLLM, TGI, Triton или аналоги), ограничения и утилизация GPU, производительность, стоимость токена, оценка качества моделей, компромисс между своими моделями и внешним API.
Опыт MLOps: Kubernetes, model registry и tracking (MLflow или аналоги), CI/CD моделей, эксплуатация большого числа моделей.
Умение управлять внутренним продуктом: переводить размытые запросы в задачи с критериями результата, говорить «нет» с альтернативой, держать фокус команды на 2–3 главных целях.
Опыт работы с требованиями безопасности и регуляторики: умение договориться об этапности, а не принять весь скоуп разом.

Удаленная работа с возможностью приходить в офис в Москве, Санкт-Петербурге и Новосибирске

Алина Дмитренко (HR)