Аналитик-разработчик в команду оценки качества Нейро

Поиск с Алисой — это не просто выдача ссылок: он создаёт подробные, структурированные ответы с разделами, картинками и видео. Но как понять, что качество этих ответов хорошее?

Можно, например, применить классический подход — проанализировать поведение пользователей. Однако современный интернет стал настолько сложным, что часто одних онлайн-метрик недостаточно. Поэтому мы подходим к задаче комплексно: дополнительно строим офлайн-приборы, которые позволяют перед экспериментами заранее отвечать на конкретные вопросы. Стали ли ответы лучше? Как часто в них встречаются серьёзные ошибки? Соответствуют ли они запросам?

Вы будете не просто анализировать данные, а создавать правила и метрики, которые станут «детектором качества» для ответов.

К чему мы стремимся * Сделать поиск нового поколения Не просто выдачу ссылок, а интеллектуального помощника, способного решать задачи пользователя на месте, без необходимости переходить куда-либо. * Отвечать не только на русском Мы запускаемся в новых регионах, где нас ждут вызовы, связанные с языковыми и региональными особенностями. * Давать развёрнутые ответы Наша цель — ответы, в которых текст, видео и картинки работают вместе. Мы делаем информацию живой, чтобы она запоминалась с первого взгляда. * Не врать! Никаких домыслов или «креативных» интерпретаций. Мы строго следим, чтобы ответы опирались на проверенные данные, а каждое утверждение подкреплялось надёжными источниками. Мы учим модели не фантазировать, а опираться на факты — даже если это сложнее.

У нас классно, потому что: * Мы работаем над Поиском с Алисой — продуктом Яндекса на основе LLM — и ориентированы прежде всего на результат в продакшене. * Наши задачи тесно связаны и с дизайном самого продукта, и с ML. * Мы даём возможность развивать технические, коммуникативные и менеджерские навыки. * Ваша работа прямо повлияет на то, каким станет Поиск с Алисой через полгода. * Мы делаем уникальные по сложности, масштабу и архитектуре краудсорс-проекты. * Мы слаженная команда аналитиков и ML-инженеров качества.

Какие задачи вас ждут

Придание чёткой формы продуктовым требованиям Наша ключевая задача — формализовать изначально абстрактные требования продуктовой команды в набор ясных правил и принципов. Эти критерии позволяют нам объективно определять, является ли ответ модели хорошим (подходящим для продукта) или плохим (ошибкой в продукте), и обосновывать решение. Сначала мы разрабатываем эти правила сами, анализируя примеры и обобщая наблюдения в инструкции, а затем обучаем им AI-тренеров и асессоров, чтобы увидеть улучшения в ответах модели в новых версиях.

Создание комплексных проектов по разметке данных (краудсорсинг и LLM) Для обучения современных моделей нужно очень много размеченных данных высокого качества. Мы создаём проекты для такой разметки, привлекая людей через Yandex Crowd или используя LLM: собираем задание (от инструкции до интерфейса), находим исполнителей и обучаем их. Каждая новая задача требует понимания взаимосвязей системы, выстраивания сложной архитектуры и изобретения новых комбинаций стандартных подходов к разметке.

Повышение качества, оптимизация и экономия ресурсов Мы регулярно следим за метриками качества получаемых разметок и ищем точки роста. Для этого строим детализированные дашборды, настраиваем пайплайны подготовки данных, экспериментируем со схемами разметки и анализируем характеристики запросов/ответов (тематика, структура и т. д.). Наша задача не просто помогать продукту становиться лучше, а делать это при заданных ограничениях времени или бюджета.

Мы ждём, что вы

• Умеете писать на Python и SQL
• Знаете математическую статистику и теорию вероятностей
• Любите работать с данными и умеете извлекать из них практический результат
• Умеете взаимодействовать с командой, ясно излагать мысли, понимать и убеждать коллег
• Готовы разбираться в том, как и почему должен работать продукт

Будет плюсом

• Работали с Толокой или другими краудсорс-платформами
• Писали инструкции и самостоятельно запускали проекты по разметке данных