Аналитик-разработчик автометрик Alice AI LLM

Базовая модель Alice AI лежит в основе Алисы, Поиска и многих других продуктов. Наша цель — улучшать модель, решая множество прикладных задач, постоянно мониторить качество со всех сторон и не терять ничего важного. Для этого нам нужна система надёжных крауд-разметок и автоматических метрик — такими автометриками и занимается наша команда. Мы замеряем модели на множестве бенчмарков: от классического MMLU до теста на знание русской культуры. Ищем активных и заинтересованных аналитиков.

Почему в нашей команде классно: * Alice AI — быстрорастущий проект, у нас можно проявить себя, поработать с крутыми опытными ML-специалистами * Можно гонять самые современные модельки Яндекса на мощных GPU-кластерах * Можно воспроизводить исследования из самых свежих статей и придумывать что-то новое * Мы учимся решать задачи, которые пока никто не умеет решать * Можно узнать, что думает Alice AI до того, как его ограничат для внешнего пользования (научат этике) * Нам помогает команда уникальных редакторов и AI-тренеров (например, член команды «Что? Где? Когда?» Алесь Мухин, составитель атласа культур и религий народов России и многие другие)

Какие задачи вас ждут

Создание метрик качества Наша главная задача — всесторонне оценивать качество модели. Сравнить две LLM почти так же сложно, как сравнить двух человек: одного IQ-теста тут точно недостаточно. Поэтому мы создаём новые тесты (бенчмарки), исследуем и адаптируем опенсорсные решения.

Интерпретация результатов экспериментов Команда разработки проводит много экспериментов и делает выводы на основе наших метрик. Иногда результаты бывают неожиданными или противоречивыми, в этом случае задача аналитиков — помочь раздебажить, что произошло.

Анализ точек роста Есть множество сложных задач, с которыми наша модель ещё не справляется на достойном уровне. Мы стараемся выбрать из них самые перспективные, разобрать проблемы и вместе с командой разработки придумать план решения.

Мы ждём, что вы

• Работали над метриками в ML
• Уверенно владеете SQL и Python
• Умеете анализировать данные, строили эффективные процессы их обработки
• Знаете теорию вероятностей и математическую статистику
• Интересуетесь развитием LLM и хотели бы погрузиться в эту тему
• Самостоятельны, аккуратны

Будет плюсом

• Имеете опыт работы над LLM
• Делали крауд-разметки с системой контроля качества
• Свободно читаете на английском