Principal ML Researcher

Название: Principal ML Researcher Компания: Toloka Местоположение: Staff / European Union

О Toloka

В Toloka AI мы создаем данные, которые питают ведущие GenAI-модели и инновации. Мы работаем с передовыми лабораториями, крупными технологическими компаниями, известными AI-стартапами, предприятиями и некоммерческими исследовательскими организациями по всему миру. Мы используем комбинацию Экспертов + Крауд + Технологическая платформа, чтобы обучать AI-модели рассуждать и оценивать их эффективность и безопасность. У нас есть эксперты в более чем 50 различных областях — от врачей и юристов до физиков и инженеров — и мы гордимся одним из самых разнообразных глобальных краудов, представляющих более 100 стран и говорящих на 40+ языках. Мы хорошо финансируемый стартап с завидным портфелем клиентов, включая Anthropic, Amazon, Microsoft, Poolside, Recraft и Shopify.

Недавно мы привлекли стратегические инвестиции под руководством Bezos Expeditions и Nebius Group с участием Михаила Паракхина, CTO Shopify и члена правления ведущих GenAI-компаний, который теперь является нашим Председателем Правления. Наша команда, работающая преимущественно удаленно, распределена по всему миру: США, Великобритания, Нидерланды, Сербия и другие страны.

О команде

Мы — ML-команда внутри Toloka — создаем продукты машинного обучения, которые обеспечивают работу самой платформы, делая каждый проект, запущенный на Toloka, быстрее, дешевле и надежнее.

Вот несколько примеров того, что мы разрабатываем:

• Enterprise post-training (пост-тренировка для корпоративных клиентов) — мы помогаем реальным компаниям, предоставляя им небольшие LLM, которые по качеству превосходят передовые модели при значительно меньших затратах.
• Off-the-shelf post-training (готовая пост-тренировка) — мы проводим исследования на наборах данных, которые предоставляем клиентам, показывая, что обучение на этих наборах данных улучшит их производительность.
• Fine-tuning и RL (дообучение и обучение с подкреплением) — адаптация передовых и открытых моделей к задачам Toloka для достижения нужного качества при нужных затратах.
• Оценка, бенчмаркинг, моделирование затрат и выбор моделей у разных поставщиков.
• LLM QA (контроль качества LLM) — основная технология, лежащая в основе механизма автоматического контроля качества Toloka. Каждая аннотация, проходящая через Self-Service, проверяется LLM-агентом, который мы разрабатываем, обучаем и эксплуатируем.

Мы отвечаем за всю цепочку. Одна и та же команда разрабатывает ML-решение, выводит его в продакшн, поддерживает его работу 24/7, анализирует результаты, поступающие из реальных проектов, и использует эти сигналы для следующей итерации. Нет никакого разделения между исследованиями, инжинирингом и операциями — все это делаем мы.

О позиции

В качестве Principal ML Researcher вы будете определять общую техническую стратегию, исследовательскую стратегию и архитектуру основного ML-стека и стека пост-тренировки Toloka. На этой высокоэффективной должности вы будете связывать передовые AI-исследования с крупномасштабной платформенной инженерией.

Вы будете руководить технической стратегией в области новых парадигм пост-тренировки (таких как GRPO, моделирование вознаграждения за процесс/результат и RLAIF), проектировать надежные экосистемы автоматической оценки и устанавливать стандарты адаптации и предоставления фундаментальных моделей на нашей платформе. Как технический авторитет, вы будете наставлять старших ML-инженеров, напрямую сотрудничать с руководством компании и представлять Toloka в широком сообществе AI-исследователей.

Чем предстоит заниматься

• Развивать техническую стратегию: Определять многоквартальную стратегию и архитектуру стека пост-тренировки Toloka, гарантируя, что наши возможности дообучения, RL и оценки опережают тенденции отрасли.
• Проектировать новые конвейеры пост-тренировки и RL: Возглавить переход от базового SFT к продвинутым RL-фреймворкам (GRPO, PPO/DPO, reward modeling, Process Reward Models и RLAIF) для обеспечения согласованности LLM и поведения агентов на всей платформе.
• Пионерить следующее поколение систем оценки: Проектировать и калибровать надежные автоматизированные системы оценки, включая фреймворки LLM-as-a-judge, согласованные с человеческими суждениями, динамические наборы для бенчмаркинга и системы контроля регрессий.
• Продвигать оптимизацию дистилляции и инференса: Руководить исследовательскими инициативами по дистилляции моделей, квантованию, сжатию контекста (например, gisting) и спекулятивному декодированию для оптимизации компромиссов между задержкой и стоимостью в масштабах платформы.
• Формировать агентные возможности платформы: Проектировать автономных направляющих агентов и рабочие процессы использования инструментов, создавая фундаментальные фреймворки для многошаговых рассуждений, самокоррекции и циклов обратной связи, управляемых оценкой.
• Техническое лидерство и наставничество: Повышать уровень инженерных и исследовательских стандартов в команде посредством обзоров архитектурных решений, практического наставничества старших ML-исследователей и установления лучших практик для воспроизводимых ML-R&D.
• Межфункциональное и общественное влияние: Сотрудничать с директорами по продукту и инжинирингу для преобразования сложных клиентских задач в масштабируемую архитектуру платформы; готовить высокоэффективные исследовательские отчеты, блоги и внешние технические доклады.

Что мы ищем

• 6+ лет опыта в ML engineering или прикладных исследованиях, с 3+ годами подтвержденного опыта руководства инициативами по пост-тренировке, дообучению или выравниванию LLM в масштабе.
• Глубокое теоретическое и практическое мастерство в области выравнивания LLM: SFT, LoRA/PEFT, RLHF/RLAIF (GRPO, DPO, PPO), reward modeling и пост-тренировка, ориентированная на рассуждения.
• Мастерство в области оценки и калибровки LLM: Подтвержденный опыт создания конвейеров оценки с нуля, устранения предвзятостей LLM-as-a-judge и точной калибровки автоматических оценок по отношению к золотым человеческим стандартам.
• Экспертиза в распределенном обучении и системной инженерии: Высокий уровень владения Python, PyTorch, фреймворками распределенного обучения (Deepspeed, Megatron, FSDP) и высокопроизводительными движками инференса (vLLM, TensorRT-LLM).
• Архитектурное видение и продуктовое лидерство: Подтвержденная способность преобразовывать нечеткие технические задачи в надежные функции платформы, балансируя передовые исследования с надежностью продакшена и ограничениями по стоимости.
• Технический авторитет: Подтвержденный опыт работы в качестве технического лидера, наставничества старших исследователей/инженеров и влияния на межфункциональные дорожные карты.
• Язык: Свободное владение английским языком (устно и письменно, уровень C1) с четкими коммуникативными навыками для изложения сложных технических концепций как внутренним командам, так и внешним клиентам/сообществу.

Что мы можем предложить

Вы станете частью международной, динамичной среды, которая стимулирует инновации и устанавливает новые стандарты в секторе AI и технологий.

Конкурентоспособный компенсационный пакет, включающий базовую зарплату, бонус и ESOP.

Оплачиваемый PTO и льготы будут зависеть от местоположения.

Мы предлагаем полностью удаленную или гибридную модель (если вы находитесь в Нидерландах или Сербии).

Выплаты на IT-оборудование и обустройство домашнего офиса.

Работодатель, предоставляющий равные возможности

Toloka стремится предоставлять равные возможности и способствовать созданию инклюзивной среды. Мы приветствуем заявки от всех квалифицированных лиц и не допускаем дискриминации по признаку расы, религии, цвета кожи, национального происхождения, пола, сексуальной ориентации, гендерной идентичности, возраста, семейного положения, статуса ветерана, инвалидности или любой другой характеристики, защищенной применимым законодательством. Решения о найме принимаются на основе квалификации, заслуг и потребностей бизнеса.

[Важное уведомление] Осторожно: Мошенничество с фейковыми вакансиями

Нам стало известно, что отдельное лицо или группа лиц мошенническим путем выдают себя за Toloka, публикуя фейковые вакансии и запрашивая личную информацию у соискателей. Пожалуйста, имейте в виду:

Официальная связь: Наша команда по подбору персонала будет связываться с вами только с официального адреса электронной почты "toloka.ai". Мы НИКОГДА не будем использовать Gmail, Yahoo, Tolokainc, toloka.inc или другие личные или якобы деловые адреса электронной почты.

Наш процесс: Мы НИКОГДА не будем запрашивать данные вашей банковской карты, номер кредитной карты или какие-либо сборы в рамках процесса подачи заявления или собеседования.

Официальные объявления: Все законные вакансии публикуются на нашей официальной странице карьеры.

Что делать: Если вы видите подозрительную вакансию или с вами связался кто-то, кого вы подозреваете в мошенничестве, пожалуйста, не предоставляйте никакой личной информации. Вместо этого сообщите нам о происшествии напрямую по адресу контакт рекрутера и сообщите о профиле/посте в LinkedIn. Мы очень серьезно относимся к этому вопросу и сотрудничаем с соответствующими сторонами для его решения.

Спасибо за вашу бдительность!

Чтобы узнать, как мы собираем, используем, раскрываем и храним личные данные, ознакомьтесь с нашим Уведомлением о конфиденциальности.