Свяжитесь напрямую по этой вакансии
Лид экспертной аналитики в Alice AI
Наша команда развивает качество ключевой LLM-технологии компании — Alice AI LLM. Мы работаем над тем, чтобы наши модели становились умнее, полезнее и надёжнее, и ищем лида экспертной аналитики, который поможет нам двигаться ещё быстрее.
Мы создаём новые метрики, проектируем процессы сбора и валидации данных, глубоко анализируем поведение моделей и выводим их на новые уровни качества. Особое внимание уделяем росту качества в экспертных срезах — областях, где корректность ответа может оценить лишь небольшое количество специалистов с профильным образованием и опытом. В таких задачах важно не только оценить вывод модели, но и определить авторитетные источники, проверить корректность аргументации и предложить визуализацию идеального, эталонного ответа.
Стратегия и лидерство Вы будете формировать аналитическую стратегию для развития LLM-навыков модели, строить команду аналитиков, заниматься менторством и планировать ресурсы. Также вам предстоит разработать подходы к оценке качества LLM в разных продуктах компании в экспертных доменах.
Система метрик и оценок Вы будете разрабатывать комплексные метрики, отражающие реальное качество моделей, создавать методологии оценки в сверхсложных экспертных срезах — формировать критерии, подбирать авторитетные источники, описывать идеальные ответы. Также предстоит сравнивать собственные модели с SOTA-подходами на рынке и автоматизировать оценки с помощью LLM (LLM-as-a-judge) и гибридных методов.
Сбор данных Вы будете запускать сложные процессы разметки данных для fine-tuning и RLHF/RLAIF, работать с узкими экспертными группами, строить пайплайны с участием доменных специалистов и ускорять процессы с помощью LLM-инструментов, а также контролировать качество данных и готовить датасеты для исследовательских задач.
Внедрение лучших практик Вы будете отслеживать и анализировать новые исследования, бенчмарки и методологии, проводить эксперименты с synthetic data, LLM feedback, active learning, expert-in-the-loop и внедрять исследовательские находки в производственные процессы.
Больше об аналитике в Яндексе — в канале Yandex for Analytics
3 лет
Опыт работы
Полная занятость
Тип занятости
Офис
Формат работы
Lead
Грейд
Аналитика данных
Специализация
AI
Отрасль
Корпорация
Тип компании
3 лет
Опыт работы
Полная занятость
Тип занятости
Офис
Формат работы
Lead
Грейд
Аналитика данных
Специализация
AI
Отрасль
Корпорация
Тип компании