Лид экспертной аналитики в Alice AI

Наша команда развивает качество ключевой LLM-технологии компании — Alice AI LLM. Мы работаем над тем, чтобы наши модели становились умнее, полезнее и надёжнее, и ищем лида экспертной аналитики, который поможет нам двигаться ещё быстрее.

Мы создаём новые метрики, проектируем процессы сбора и валидации данных, глубоко анализируем поведение моделей и выводим их на новые уровни качества. Особое внимание уделяем росту качества в экспертных срезах — областях, где корректность ответа может оценить лишь небольшое количество специалистов с профильным образованием и опытом. В таких задачах важно не только оценить вывод модели, но и определить авторитетные источники, проверить корректность аргументации и предложить визуализацию идеального, эталонного ответа.

Какие задачи вас ждут

Стратегия и лидерство Вы будете формировать аналитическую стратегию для развития LLM-навыков модели, строить команду аналитиков, заниматься менторством и планировать ресурсы. Также вам предстоит разработать подходы к оценке качества LLM в разных продуктах компании в экспертных доменах.

Система метрик и оценок Вы будете разрабатывать комплексные метрики, отражающие реальное качество моделей, создавать методологии оценки в сверхсложных экспертных срезах — формировать критерии, подбирать авторитетные источники, описывать идеальные ответы. Также предстоит сравнивать собственные модели с SOTA-подходами на рынке и автоматизировать оценки с помощью LLM (LLM-as-a-judge) и гибридных методов.

Сбор данных Вы будете запускать сложные процессы разметки данных для fine-tuning и RLHF/RLAIF, работать с узкими экспертными группами, строить пайплайны с участием доменных специалистов и ускорять процессы с помощью LLM-инструментов, а также контролировать качество данных и готовить датасеты для исследовательских задач.

Внедрение лучших практик Вы будете отслеживать и анализировать новые исследования, бенчмарки и методологии, проводить эксперименты с synthetic data, LLM feedback, active learning, expert-in-the-loop и внедрять исследовательские находки в производственные процессы.

Больше об аналитике в Яндексе — в канале Yandex for Analytics

Мы ждём, что вы

• Управляли командой аналитиков не менее трёх лет
• Любите работать с данными и умеете извлекать из них практический результат
• Знаете математическую статистику и теорию вероятностей
• Умеете писать код на Python и знаете алгоритмы
• Самостоятельны и готовы браться за новые задачи, для которых нет готового решения
• Интересуетесь развитием LLM и хотите глубоко погрузиться в тему