Т-Банк

Senior ML Performance Analyst at T-Bank, Shopping

Russia10 days ago

Details

Grade

Senior

Experience

from 4 years

A cover letter for this job

An email or a Telegram message to the recruiter

About the role

T-Bank is looking for a strong analyst to be responsible for the value of ML in the product. The analyst here is the main client for the ML team: they define what task the model solves for traffic and CJM, and are responsible for ensuring that the deployed model improves the customer journey and product economics.

ML has a short list of tasks from the product, and each deployment goes through the same testing loop. For active models, it is clear whether they are alive and what effect they maintain on the customer journey and on the revenue from impressions

Responsibilities

Formulate requirements for ML in product language: which impression, screen, or CJM step the model should improve and which metric will prove it;
Develop the A/B testing system for model updates in different modules of the SuperApp;
Develop monitoring for models in production: impression quality, traffic share under the model, mix shift of impressions, degradation by segments, and discrepancy between offline and production;
Investigate performance drops to the root cause: data, features, traffic changes, conflict between two models on the same screen, seasonality;
Manage the ML task queue: what brings in money and improves the customer journey, what remains a research topic, what needs to be turned off;
Record the effect of each deployment in the overall impression distribution picture, so that the model does not improve one placement at the expense of a neighboring scenario without an explicit solution

Requirements

At least 4 years of experience in product analytics, at least 2 years of experience with ML analytics: ranking, recommendations, targeting, or traffic distribution;
Ability to act as a client: clear requirements, success metric, and a "roll out / not roll out" decision without transferring this responsibility to the model team;
Practical experience with A/B tests in production: design, power, intersections, novelty, long-term effect;
SQL and Python skills sufficient to independently check the model's data mart and monitoring dashboard;
Understanding of where the model's offline metric ends and the product metric begins: CTR, CJM step conversion, impression profitability

Nice to have

Experience in a super app or marketplace where multiple models share the same impressions;
Building a monitoring loop: alerts for degradation, breakdowns by screens and segments, regular reviews with ML;
Ability to compare a model with a simple rule and keep the rule if it yields the same effect on the CJM

Т-Банк ищет сильного аналитика, который отвечает за пользу ML в продукте. Аналитик здесь главный заказчик ML-команды: ставит, какую задачу модель решает для трафика и CJM, и отвечает за то, что раскатанная модель улучшает путь клиента и экономику продукта.

Задачи:

Формулировать заказ для ML на языке продукта: какой показ, экран или шаг CJM модель должна улучшить и какая метрика это докажет;
Развивать систему A/B-тестирования доработок моделей в разных модулях СуперАппа;
Развивать мониторинг моделей на проде: качество выдачи, доля трафика под моделью, сдвиг микса показов, деградация по сегментам и расхождение офлайна с продом;
Разбирать просадку до причины: данные, фичи, смена трафика, конфликт двух моделей на одном экране, сезонность;
Вести очередь задач в ML: что даёт деньги и путь клиента, что остаётся исследованием, что пора выключать;
Фиксировать эффект каждой раскатки в общей картине распределения показов, чтобы модель не улучшала один плейсмент за счёт соседнего сценария без явного решения.

Требования:

Опыт продуктовой аналитики от 4 лет, опыт с аналитикой ML от 2 лет: ранжирование, рекомендации, таргетинг или распределение трафика;
Умение быть заказчиком: понятная постановка, метрика успеха и решение «катим / не катим» без передачи этой ответственности в команду модели;
Практика A/B-тестов на проде: дизайн, мощность, пересечения, новизна, долговременный эффект;
SQL и Python, достаточные чтобы самому проверить витрину модели и дашборд мониторинга;
Понимание, где офлайн-метрика модели заканчивается и начинается продуктовая: CTR, конверсия шага CJM, доходность показа.

Будет плюсом:

Опыт в суперапе или маркетплейсе, где несколько моделей делят одни и те же показы;
Построение контура мониторинга: алерты на деградацию, срезы по экранам и сегментам, регулярный разбор с ML;
Умение сравнивать модель с простым правилом и оставлять правило, если оно даёт тот же эффект на CJM.

Как выглядит сильный результат через полгода:

У ML есть короткий список задач от продукта, и каждая раскатка проходит через один и тот же контур теста. По боевым моделям видно, живы ли они и какой эффект держат на пути клиента и на деньгах показов.

📎 Как откликнуться?