Используем cookie для работы сайта и статистики. «Хорошо» разрешит ещё и запись сессий.
Turing
Бразилия18 часов назад
Опыт работы
от 8 лет
Формат работы
Удалённо
Уровень английского
B2, выше среднего
Письмо на почту или сообщение рекрутеру в Telegram
О Turing Миссия Turing — ускорить развитие сверхразума для обеспечения реального экономического прогресса. Компания Turing со штаб-квартирой в Сан-Франциско сотрудничает с передовыми лабораториями ИИ для создания высококачественных наборов данных, сред обучения с подкреплением и эталонных тестов для передовых исследований, которые повышают возможности моделей в области разработки программного обеспечения, обработки корпоративных знаний и продвинутых STEM-рассуждений. В области разработки программного обеспечения Turing является крупнейшим и старейшим поставщиком данных в этой категории. Turing также сотрудничает с компаниями из списка Fortune 500 в сфере финансовых услуг, наук о жизни, здравоохранения, розничной торговли, автомобилестроения и производства потребительских товаров для создания и развертывания комплексных агентурных систем ИИ в критически важных рабочих процессах. Работая с обеих сторон, Turing замыкает цикл между передовыми исследованиями и внедрением в предприятиях, превращая сигналы реального внедрения в лучшие данные, оценки и более совершенные модели. Узнайте больше на www.turing.com . Роль Turing создает крупномасштабные наборы данных и среды обучения с подкреплением (RL), которые используются для постобучения ведущих мировых лабораторий и предприятий в области ИИ. Команда STEM Horizontal создает высокосигнальные данные для кодирования и STEM-данные, на которых обучаются передовые лаборатории. Мы ищем менеджера по инженерным исследованиям, который возглавит инженерно-исследовательскую работу за следующим уровнем: синтетические данные, которые измеримо улучшают модели, и новые эталоны, которые измеряют то, что упускают текущие оценки. Вы возглавите команду инженеров-исследователей, будете работать бок о бок с научными сотрудниками и будете достаточно близки к коду, чтобы построчно рецензировать оценочную систему или самостоятельно прототипировать генератор, когда это потребуется команде. Вы также будете формировать команду: наем инженеров-исследователей — это основная часть этой роли, а не второстепенная задача. В идеале вы были по другую сторону, в передовой лаборатории, и знаете, что заставляет лабораторию доверять набору данных или результату эталонного теста. Синтетические данные, которые занимают свое место. Заметка от нашего CTO, Ece Kamar Некоторые из наиболее важных вопросов в области ИИ не могут быть решены внутри одной лаборатории: как оценивать передовые модели, как данные и RL действительно способствуют развитию возможностей и что происходит, когда ИИ встречается с реальным миром. В Turing мы работаем напрямую с передовыми лабораториями, академическим сообществом и предприятиями, развертывающими ИИ в масштабе. Это создает цикл обратной связи, где внедрение формирует наши исследования, а наши исследования формируют область, и мы открыто публикуем наши выводы, наборы данных и эталоны. Присоединяйтесь к нашей талантливой команде в Turing, чтобы продвинуть передовые рубежи ИИ с помощью строгой науки, которая имеет значение. Почему Turing Работайте напрямую с ведущими лабораториями и предприятиями ИИ на переднем крае постобучения, оценки и синтетических данных. Создавайте наборы данных и эталоны, которые улучшают и измеряют возможности передовых систем ИИ. Формируйте то, как передовые лаборатории измеряют прогресс в области кодирования и STEM-рассуждений. Работайте с высокой степенью автономии, быстрым итерационным процессом и значимым коммерческим влиянием. Сотрудничайте с выдающимися коллегами из таких организаций, как Google, Meta, Amazon и других ведущих технологических компаний. Вносите вклад в исследования, которые могут быть опубликованы в технических публикациях и на ведущих конференциях, таких как ICLR, ICML и NeurIPS. Мы ставим клиента на первое место: мы ставим наших клиентов в центр всего, что мы делаем, потому что их успех — это конечная мера нашей ценности. Мы работаем со скоростью стартапа: мы движемся быстро, остаемся гибкими и предпочитаем действовать, потому что импульс — это основа совершенства. Мы ориентированы на ИИ: мы помогаем нашим клиентам строить будущее ИИ и применяем его в нашей собственной работе и рабочих процессах для повышения производительности.
Конвейеры генерации, проверки и фильтрации, где каждая выборка проверяется, и где мы можем показать, какие свойства данных приводят к последующим улучшениям, а не только то, сколько мы их произвели. Эталоны, которые остаются значимыми. Новые оценки возможностей, которые упускают текущие эталоны, созданные с калиброванной сложностью, контролем загрязнения и достаточно сильной статистикой, чтобы лаборатория могла принять решение по результату. Сбои качества здесь незаметны. Тонкая ошибка в верификаторе ничего не вызовет сбоя; она отправит тысячи неправильных меток в обучающий цикл кого-то и обойдется в недели. Если вы хотите создать команду и системы, которые обнаружат это на ранней стадии, это ваша позиция.
Определите пробел в возможностях, разработайте и предоставьте эталон для него и убедитесь, что он принят партнерскими лабораториями. Создайте конвейер синтетических данных для задач кодирования с длительным горизонтом и верификаторами на основе выполнения, а также проведите абляции, которые показывают, какие свойства задачи способствуют улучшению RL. Откалибруйте систему оценки LLM-оценщиком по сравнению с экспертными метками, определите, где она дает сбой, и решите, где люди остаются вовлеченными. Разработайте эксперимент, который сообщит партнерской лаборатории, является ли двухпунктовый прирост на их оценке реальным. Решите, на какой из трех конкурирующих подходов к синтетическим данным должна поставить команда, и разработайте эксперименты, которые разрешат это.
Исследования: Python · PyTorch или JAX · SFT · DPO · PPO / GRPO · RL с проверяемыми вознаграждениями Оценки и данные: LLM-как-оценщик · программные верификаторы · изолированное выполнение · эталонные наборы · проверки на загрязнение Платформа: Python-сервисы (Django / FastAPI) · PostgreSQL · Docker · Terraform · AWS или GCP Опыт: 8+ лет практического опыта в области ML или инженерных исследований, из них не менее 5 лет в индустрии, включая 3+ года непосредственного управления инженерами-исследователями, инженерами ML или исследователями (включая наем и управление эффективностью). Синтетические данные в масштабе: вы руководили конвейерами синтетических или курируемых данных на производстве, результаты которых влияли на решения об обучении, и можете показать, как вы измеряли их качество и влияние на последующие этапы. Строгость оценки: вы разрабатывали и предоставляли оценки LLM или эталоны, которые другие использовали для принятия решений по моделям, и понимаете загрязнение, насыщение, предвзятость оценщика, межоператорское согласие, дисперсию и доверительные интервалы. Экспериментальная оценка: вы заранее планируете абляции, честно выбираете базовые уровни и можете отличить реальный эффект от шума. Техническая глубина: уверенное владение Python; производственный опыт работы с PyTorch или JAX; рабочее знание стека постобучения (SFT, DPO, PPO/GRPO, RL с проверяемыми вознаграждениями). Техническое руководство: опыт определения направления для команды, а не только выполнения дорожной карты, врученной вам. Масштаб: распределенная обработка данных и крупные задания по оценке или обучению (например, Ray, Spark, Kubernetes) на AWS или GCP. Коммуникация: четкая письменная коммуникация как для ученых, так и для неспециалистов; умение представлять результаты исследователям в партнерских лабораториях. Ориентация на ИИ: ежедневное использование инструментов кодирования LLM (Claude Code, Cursor, Copilot) как части вашей работы, с умением критически оценивать их результаты. Это обязательное требование. Образование: степень PhD или магистра в области ИИ, машинного обучения, компьютерных наук, статистики или тесно связанной области; предпочтительна степень PhD. Исключительный эквивалентный исследовательский опыт также будет рассмотрен. Мы придаем наибольшее значение результатам в индустрии. Опыт работы в передовой лаборатории ИИ: постобучение данных, оценки или моделирование вознаграждений в передовой лаборатории (например, OpenAI, Anthropic, Google DeepMind, Meta, xAI) или в ведущей исследовательской группе в индустрии. Создание или вклад в общедоступный эталон или набор данных, используемый сообществом.
Настоятельно рекомендуется Статьи от первого автора на NeurIPS, ICML, ICLR, ACL, EMNLP или аналогичных. Среда RL и дизайн верификатора для агентных задач: агенты кодирования, использование инструментов, использование компьютера, рабочие процессы с длительным горизонтом. Оценка или атрибуция данных: измерение вклада каждого среза данных в модель. Глубокие знания в STEM-области, такой как математика, физика, химия или биология (не требуется). Опыт управления техническими руководителями или менеджерами, или ведения нескольких параллельных программ. Руководство крупными экспертными сетями через спецификации, рубрики и быстрые циклы обратной связи.
Работайте на переднем крае ИИ, помогая ведущим мировым лабораториям ИИ улучшать свои самые передовые модели, создавая экспертные наборы данных, среды RL и уникальные эталоны. Вносите вклад в передовые исследования в области ИИ и демонстрируйте свою работу на ведущих конференциях, таких как ICLR, ICML и NeurIPS. Привносите передовые инновации в области ИИ в предприятия, применяя уроки, извлеченные из ведущих лабораторий ИИ, для решения реальных бизнес-задач. Сотрудничайте и учитесь у выдающихся коллег с глубоким опытом в области ИИ из Google, Meta, Amazon и других ведущих технологических компаний. Двигайтесь в темпе инноваций в области ИИ, обладая скоростью, ответственностью и влиянием стартапа.
About Turing
Turing’s mission is to accelerate superintelligence to drive real economic progress. Headquartered in San Francisco, Turing works with frontier AI labs to generate high-quality datasets, reinforcement learning environments, and frontier research benchmarks that improve model capabilities in software engineering, enterprise knowledge work, and advanced STEM reasoning. In software engineering, Turing is the largest and longest-running data provider in the category. Turing also works with Fortune 500 enterprises across financial services, life sciences, healthcare, retail, automotive, and CPG to build and deploy end-to-end agentic AI systems inside mission-critical workflows. By operating on both sides, Turing closes the loop between frontier research and enterprise deployment, turning real-world deployment signals into better data, evaluations, and more capable models. Learn more at www.turing.com .
The Role
Turing builds large-scale datasets and reinforcement learning (RL) environments that power post-training for the world's leading AI labs and enterprises.
The STEM Horizontal team produces the high-signal coding and STEM data frontier labs train on. We're looking for a Research Engineering Manager to lead the research engineering behind its next layer: synthetic data that measurably improves models, and new benchmarks that measure what today's evals miss.
You'll lead a team of research engineers, work side by side with research scientists, and stay close enough to the code to review an eval harness line by line or prototype a generator yourself when the team needs it. You'll also build the team : hiring research engineers is a core part of this role, not a side task. Ideally you've been on the other side, at a frontier lab, and know what makes a lab trust a dataset or a benchmark result.
Synthetic data that earns its place. Generation, verification, and filtering pipelines where every sample is checked, and where we can show which properties of the data drive downstream gains, not just how much of it we made.
Benchmarks that stay meaningful. New evaluations for capabilities current benchmarks miss, built with calibrated difficulty, contamination controls, and statistics strong enough that a lab can make a decision on the result.
Quality failures here are quiet. A subtle bug in a verifier doesn't crash anything; it ships thousands of wrong labels into someone's training run and costs weeks. If you want to build the team and the systems that catch that early, this is the seat.
What You'll Do
Identify a capability gap, design and ship a benchmark for it, and see it adopted by partner labs. Stand up a synthetic data pipeline for long-horizon coding tasks with execution-based verifiers, and run the ablations that show which task properties drive RL gains. Calibrate an LLM-judge grading system against expert labels, map where it fails, and decide where humans stay in the loop. Design the experiment that tells a partner lab whether a two-point gain on their eval is real. Decide which of three competing synthetic data approaches the team should bet on, and design the experiments that settle it. Tech Stack Research: Python · PyTorch or JAX · SFT · DPO · PPO / GRPO · RL with verifiable rewards Evals & data: LLM-as-judge · programmatic verifiers · sandboxed execution · gold sets · contamination checks Platform: Python services (Django / FastAPI) · PostgreSQL · Docker · Terraform · AWS or GCP What We're Looking For Experience: 8+ years of hands-on ML or research engineering, at least 5 in industry, including 3+ years directly managing research engineers, ML engineers, or researchers (hiring and performance management included). Synthetic data at scale: you've owned synthetic or curated data pipelines in production whose output drove training decisions , and can show how you measured their quality and downstream impact. Evaluation rigor: you've designed and shipped LLM evals or benchmarks that others used to make model decisions, and understand contamination, saturation, judge bias, inter-annotator agreement, variance, and confidence intervals. Experimental judgment: you plan ablations up front, choose baselines honestly, and can tell a real effect from noise. Technical depth: strong Python; production experience with PyTorch or JAX; working knowledge of the post-training stack (SFT, DPO, PPO/GRPO, RL with verifiable rewards). Technical direction: a track record of setting direction for a team, not only executing a roadmap handed to you. Scale: distributed data processing and large evaluation or training jobs (e.g., Ray, Spark, Kubernetes) on AWS or GCP. Communication: clear written communication for scientists and non-specialists alike; comfortable presenting results to researchers at partner labs. AI-forward: daily use of LLM coding tools (Claude Code, Cursor, Copilot) as part of how you ship, with the judgment to review their output critically. This is a must-have. Education: PhD or Master's degree in AI, machine learning, computer science, statistics, or a closely related field; PhD preferred. Exceptional equivalent research experience will also be considered. We weigh industry outcomes most heavily. Strongly Preferred Frontier AI lab experience: post-training data, evals, or reward modeling at a frontier lab (e.g., OpenAI, Anthropic, Google DeepMind, Meta, xAI) or a top industry research group. Built or contributed to a public benchmark or dataset the community uses. Nice to Have First-author papers at NeurIPS, ICML, ICLR, ACL, EMNLP, or similar. RL environment and verifier design for agentic tasks: coding agents, tool use, computer use, long-horizon workflows. Data valuation or attribution: measuring what each slice of data contributes to a model. Depth in a STEM domain such as math, physics, chemistry, or biology (not required). Experience managing tech leads or managers, or running several concurrent programs. Directing large expert networks through specs, rubrics, and fast feedback loops. A note from our CTO, Ece Kamar Some of the most important questions in AI can't be answered from inside a single lab: how to evaluate frontier models, how data and RL truly drive capability, and what happens when AI meets the real world. At Turing, we work directly with frontier labs, the academic community, and enterprises deploying AI at scale. That creates a feedback loop where deployment shapes our research and our research shapes the field, and we publish our findings, datasets, and benchmarks openly. Join our talented team at Turing to push the frontier of AI with rigorous science that matters. Why Turing Work directly with leading AI labs and enterprises at the frontier of post-training, evaluation, and synthetic data. Build the datasets and benchmarks that improve and measure the capabilities of advanced AI systems. Shape how frontier labs measure progress on coding and STEM reasoning. Operate with high autonomy, rapid iteration, and meaningful commercial impact. Collaborate with exceptional colleagues from organizations including Google, Meta, Amazon, and other leading technology companies. Contribute to research that may be shared through technical publications and leading conferences such as ICLR, ICML, and NeurIPS. Don't meet every single requirement? Studies have shown that women and people of color are less likely to apply to jobs unless they meet every single qualification. Turing is proud to be an equal opportunity employer. We do not discriminate on the basis of race, religion, color, national origin, gender, gender identity, sexual orientation, age, marital status, disability, protected veteran status, or any other legally protected characteristics. At Turing we are dedicated to building a diverse, inclusive, and authentic workplace and celebrate authenticity, so if you're excited about this role but your past experience doesn't align perfectly with every qualification in the job description, we encourage you to apply anyways. You may be just the right candidate for this or other roles. For applicants from the European Union, please review Turing's GDPR notice here. Values We are client first: We put our clients at the center of everything we do, because their success is the ultimate measure of our value. We work at Start-Up Speed: We move fast, stay agile and favor action because momentum is the foundation of perfection We are AI forward: We help our clients build the future of Al and implement it in our own roles and workflow to amplify productivity. Advantages of joining Turing Work at the frontier of AI , helping the world’s leading AI labs improve their most advanced models by building expert datasets, RL environments, and first-of-a-kind benchmarks. Contribute to leading-edge AI research and showcase your work at top conferences such as ICLR, ICML, and NeurIPS. Bring frontier AI innovation to the enterprise , applying lessons learned from leading AI labs to solve real-world business challenges. Collaborate with and learn from exceptional colleagues with deep AI experience from Google, Meta, Amazon, and other leading technology companies. Move at the pace of AI innovation , with the speed, ownership, and impact of a startup. Turing is proud to be an equal opportunity employer. We do not discriminate on the basis of race, religion, color, national origin, gender, gender identity, sexual orientation, age, marital status, disability, protected veteran status, or any other legally protected characteristics. At Turing we are dedicated to building a diverse, inclusive and authentic workplace and celebrate authenticity, so if you’re excited about this role but your past experience doesn’t align perfectly with every qualification in the job description, we encourage you to apply anyways. You may be just the right candidate for this or other roles. For applicants from the European Union, please review Turing's GDPR notice here .
Сравним навыки, грейд, формат работы и зарплату
Чаще всего от 99 600 до 163 000