Senior Аналитик эффективности ML в Т-Банк, Шопинг

Т-Банк ищет сильного аналитика, который отвечает за пользу ML в продукте. Аналитик здесь главный заказчик ML-команды: ставит, какую задачу модель решает для трафика и CJM, и отвечает за то, что раскатанная модель улучшает путь клиента и экономику продукта.

Задачи:

• Формулировать заказ для ML на языке продукта: какой показ, экран или шаг CJM модель должна улучшить и какая метрика это докажет;
• Развивать систему A/B-тестирования доработок моделей в разных модулях СуперАппа;
• Развивать мониторинг моделей на проде: качество выдачи, доля трафика под моделью, сдвиг микса показов, деградация по сегментам и расхождение офлайна с продом;
• Разбирать просадку до причины: данные, фичи, смена трафика, конфликт двух моделей на одном экране, сезонность;
• Вести очередь задач в ML: что даёт деньги и путь клиента, что остаётся исследованием, что пора выключать;
• Фиксировать эффект каждой раскатки в общей картине распределения показов, чтобы модель не улучшала один плейсмент за счёт соседнего сценария без явного решения.

Требования:

• Опыт продуктовой аналитики от 4 лет, опыт с аналитикой ML от 2 лет: ранжирование, рекомендации, таргетинг или распределение трафика;
• Умение быть заказчиком: понятная постановка, метрика успеха и решение «катим / не катим» без передачи этой ответственности в команду модели;
• Практика A/B-тестов на проде: дизайн, мощность, пересечения, новизна, долговременный эффект;
• SQL и Python, достаточные чтобы самому проверить витрину модели и дашборд мониторинга;
• Понимание, где офлайн-метрика модели заканчивается и начинается продуктовая: CTR, конверсия шага CJM, доходность показа.

Будет плюсом:

• Опыт в суперапе или маркетплейсе, где несколько моделей делят одни и те же показы;
• Построение контура мониторинга: алерты на деградацию, срезы по экранам и сегментам, регулярный разбор с ML;
• Умение сравнивать модель с простым правилом и оставлять правило, если оно даёт тот же эффект на CJM.

Как выглядит сильный результат через полгода:

• У ML есть короткий список задач от продукта, и каждая раскатка проходит через один и тот же контур теста. По боевым моделям видно, живы ли они и какой эффект держат на пути клиента и на деньгах показов.

📎 Как откликнуться?

• Нанимающий менеджер: контакт рекрутера