Аналитик-разработчик в команду безопасности Алисы

Мы делаем сервис Алиса AI — новый способ поиска информации, который скоро может вытеснить привычную всем выдачу с синими ссылками.

Генеративная нейросеть (LLM) на основе YandexGPT анализирует содержимое веб-страниц и отвечает на вопросы пользователя в чате. Чтобы обучать нейросети и измерять качество их работы, мы делаем проекты разметки ответов с помощью Yandex Crowd — внутреннего сервиса Яндекса. От успешности этих проектов напрямую зависит развитие Алисы AI.

Если вы знаете аналитику, хорошо пишете код и делаете точные выводы на основе данных — приходите вместе с нами строить поиск будущего!

Почему у нас классно * Мы работаем с Алисой AI — новым продуктом Яндекса на основе LLM — и ориентированы прежде всего на результат в продакшне. * Наши задачи тесно связаны и с дизайном самого продукта, и с ML. * Мы даём возможность развивать как технические, так и коммуникативные и менеджерские навыки. * Ваша работа прямо повлияет на то, каким станет Алиса AI через полгода. * Мы делаем уникальные по сложности, масштабу и архитектуре краудсорс-проекты. * Наша слаженная команда аналитиков и ML-инженеров качества Поиска постоянно обсуждает задачи и обменивается опытом.

Какие задачи вас ждут

Формализация требований к качеству продукта Наша основная задача — превратить плохо формализованное и противоречивое определение продукта в набор чётких правил и принципов, с помощью которых мы сможем обозначить конкретный ответ как хороший (подходящий для продукта) или плохой (указывающий на ошибку в продукте) и обосновать такое решение. Сначала мы учимся делать это сами (собираем и обсуждаем примеры, пишем инструкции), а затем обучаем этому AI-тренеров и асессоров.

Создание сложных проектов в Yandex Crowd Для массового сбора разметки мы создаём иерархические проекты из нескольких уровней разметчиков. У каждой группы исполнителей свой метод обучения и свои требования к качеству. Мы запустили в 2023 году и продолжаем развивать несколько проектов, которые сильно отличаются от типовых сложностью и большими объёмами заданий.

Аналитические задачи вокруг ML-моделей Мы занимаемся оптимизацией сбора лёрна, валидацией и приёмкой моделей, мониторингом состояния прода, поиском проблем.

Больше об аналитике в Яндексе — в канале Yandex for Analytics

Мы ждём, что вы

• Умеете писать на Python и SQL
• Знаете математическую статистику и теорию вероятностей
• Может общаться в команде, ясно излагать мысли, понимать и убеждать коллег
• Самостоятельны и готовы браться за новые задачи, для которых нет готового решения
• Въедливы, готовы до мелочей разбираться в том, как и почему должен работать продукт

Будет плюсом

• Работали с Толокой или другими краудсорс-платформами
• Писали инструкции и самостоятельно запускали проекты разметки данных
• Имеете опыт работы с машинным обучением и нейронными сетями