Используем cookie для работы сайта и статистики. «Хорошо» разрешит ещё и запись сессий.
Turing
Соединенные Штаты11 дней назад
About Turing
Turing’s mission is to accelerate superintelligence to drive real economic progress. Headquartered in San Francisco, Turing works with frontier AI labs to generate high-quality datasets, reinforcement learning environments, and frontier research benchmarks that improve model capabilities in software engineering, enterprise knowledge work, and advanced STEM reasoning. In software engineering, Turing is the largest and longest-running data provider in the category. Turing also works with Fortune 500 enterprises across financial services, life sciences, healthcare, retail, automotive, and CPG to build and deploy end-to-end agentic AI systems inside mission-critical workflows. By operating on both sides, Turing closes the loop between frontier research and enterprise deployment, turning real-world deployment signals into better data, evaluations, and more capable models. Learn more at www.turing.com .
Software Engineer
We build the infrastructure that frontier AI labs use to evaluate coding agents and language models: benchmark datasets, agent evaluation runs at scale, and automated task quality checks. You would own features across the stack, from the data model and background jobs to the screens our users work in every day.
This is a role for an experienced engineer who works independently, makes sound tradeoffs, and turns a loosely defined request into something shipped, tested, and safe to leave alone.
What you will do
Design and ship features end to end: data model, API, background workers, and the UI when the change needs it.
Build and improve how agents and models are evaluated: running trials in sandboxed environments, scoring results, and turning thousands of runs into results people can trust.
Improve how benchmark tasks are quality-checked: verifiers, rubric-based and LLM-as-a-judge grading, and deciding whether a task is clear, solvable, and fair to score.
Integrate new models, agents, and benchmarks in a way that generalizes, without a special case for each one.
Keep the system fast and reliable as usage grows: efficient queries, safe migrations, and concurrency that holds up under load.
Review teammates’ pull requests against our engineering guidelines and help keep the codebase consistent.
What you bring
5+ years building and operating production backend systems, with ownership of at least one service from design through on-call.
Bachelor’s degree or higher in Software Engineering, Computer Science, or a related field.
Strong Python and experience with Django (or a similar framework), PostgreSQL, and a task queue such as Celery. What matters most is having run a real system, not knowing a particular framework.
Hands-on experience in LLM evaluation, beyond calling a model API. You understand how a benchmark task is built, how an agent trial is scored, and how results are aggregated and compared. Experience with Harbor, Terminal-Bench, SWE-bench, Inspect, or a similar harness is a strong plus.
Judgment about task quality. You can spot ambiguous instructions, weak or gameable verifiers, leaked answers, and checks that pass for the wrong reason.
Good tradeoffs. You reach for the smallest design that solves the problem, extend what already exists before adding something new, and can explain what you chose not to build.
Ownership. You take a fuzzy request, find the relevant code, ask questions only when the answer changes the design, and finish the job, including migrations, tests, and edge cases users will hit.
Quick adoption of team conventions. You read the written guidelines and your first pull requests already match them in naming, structure, tests, and error handling.
Comfort with a TypeScript and React frontend when a change is visible there. You don’t need to be a frontend specialist.
Clear writing. Your pull request descriptions and design notes explain why, not just what.
Nice to have
Experience running agents in sandboxed or containerized environments (Docker, Kubernetes, or cloud sandboxes such as Modal or Daytona).
Experience with LLM-as-a-judge or rubric-based grading, and with reducing judge bias and noise.
Familiarity with coding agents such as Claude Code, Codex, or OpenHands, and with MCP.
Experience with distributed job scheduling, concurrency limits, or database locking at scale.
Contributions to open-source evaluation or infrastructure projects.
How we work
Written engineering guidelines, applied consistently, with the same review bar for everyone.
Business logic lives in services. Hot paths stay cheap. Lint and tests pass before a pull request is ready.
The same vocabulary in the code, the API, and the UI.
We prefer deleting code to adding it, and simple designs to clever ones.
A strong first month looks like several changes merged with light review, and one area of the system you can change confidently without a guide.
Compensation: $xxx,000 - $xxx,000 Base Salary + Equity
Values
We are client first: We put our clients at the center of everything we do, because their success is the ultimate measure of our value.
We work at Start-Up Speed: We move fast, stay agile and favor action because momentum is the foundation of perfection
We are AI forward: We help our clients build the future of Al and implement it in our own roles and workflow to amplify productivity.
Advantages of joining Turing
Work at the frontier of AI , helping the world’s leading AI labs improve their most advanced models by building expert datasets, RL environments, and first-of-a-kind benchmarks.
Contribute to leading-edge AI research and showcase your work at top conferences such as ICLR, ICML, and NeurIPS.
Bring frontier AI innovation to the enterprise , applying lessons learned from leading AI labs to solve real-world business challenges.
Collaborate with and learn from exceptional colleagues with deep AI experience from Google, Meta, Amazon, and other leading technology companies.
Move at the pace of AI innovation , with the speed, ownership, and impact of a startup.
Turing is proud to be an equal opportunity employer. We do not discriminate on the basis of race, religion, color, national origin, gender, gender identity, sexual orientation, age, marital status, disability, protected veteran status, or any other legally protected characteristics. At Turing we are dedicated to building a diverse, inclusive and authentic workplace and celebrate authenticity, so if you’re excited about this role but your past experience doesn’t align perfectly with every qualification in the job description, we encourage you to apply anyways. You may be just the right candidate for this or other roles.
For applicants from the European Union, please review Turing's GDPR notice here .
Сравним навыки, грейд, формат работы и зарплату
Чаще всего от 162 000 до 209 000
Грейд
Senior
Опыт работы
от 5 лет
Формат работы
Удалённо
Уровень английского
B2, выше среднего
Письмо на почту или сообщение рекрутеру в Telegram
Миссия Turing — ускорение развития супер ИИ для реального экономического прогресса. Штаб-квартира Turing находится в Сан-Франциско. Turing сотрудничает с передовыми лабораториями ИИ для создания высококачественных наборов данных, сред обучения с подкреплением и эталонных тестов для исследований на переднем крае, которые улучшают возможности моделей в области разработки ПО, выполнения корпоративных задач и продвинутых STEM-разонов. В области разработки ПО Turing является крупнейшим и старейшим поставщиком данных в данной категории. Turing также сотрудничает с предприятиями из списка Fortune 500 в сферах финансовых услуг, наук о жизни, здравоохранения, розничной торговли, автомобилестроения и производства потребительских товаров для создания и развертывания комплексных агентских систем ИИ во внутренних критически важных рабочих процессах. Работая с обеих сторон, Turing замыкает цикл между передовыми исследованиями и корпоративным внедрением, превращая сигналы реального развертывания в лучшие данные, оценки и более способные модели. Узнайте больше на www.turing.com . Инженер-программист Мы создаем инфраструктуру, которую передовые лаборатории ИИ используют для оценки кодирующих агентов и языковых моделей: эталонные наборы данных, масштабные прогоны оценки агентов и автоматизированные проверки качества задач. Вы будете отвечать за разработку функций всего стека: от модели данных и фоновых задач до интерфейсов, которыми наши пользователи пользуются ежедневно. Эта роль предназначена для опытного инженера, который работает самостоятельно, принимает обоснованные компромиссные решения и превращает расплывчатый запрос в готовый, протестированный и безопасный для самостоятельной работы продукт. Письменные руководства по разработке, применяемые последовательно, с одинаковыми требованиями к проверке для всех. Бизнес-логика находится в сервисах. Горячие пути остаются дешевыми. Линтер и тесты проходят, прежде чем pull request будет готов. Единая терминология в коде, API и пользовательском интерфейсе. Мы предпочитаем удалять код, а не добавлять его, и простые дизайны — умным. Сильный первый месяц выглядит как несколько объединенных изменений с легкой проверкой и одна область системы, которую вы можете уверенно изменять без руководства. Клиент прежде всего: Мы ставим наших клиентов в центр всего, что делаем, потому что их успех — это окончательная мера нашей ценности. Мы работаем в режиме стартапа: Мы движемся быстро, остаемся гибкими и отдаем предпочтение действиям, потому что инерция — основа совершенства. Мы AI-ориентированы: Мы помогаем нашим клиентам строить будущее ИИ и применяем его в наших собственных ролях и рабочих процессах для повышения производительности.
Разрабатывать и выпускать функции от начала до конца: модель данных, API, фоновые обработчики и пользовательский интерфейс, когда это необходимо для изменений. Создавать и улучшать методы оценки агентов и моделей: проведение испытаний в изолированных средах, оценка результатов и преобразование тысяч прогонов в результаты, которым можно доверять. Улучшать проверку качества эталонных задач: верификаторы, оценка на основе рубрик и LLM-как-судья, а также определение того, является ли задача четкой, решаемой и справедливой для оценки. Интегрировать новые модели, агентов и эталоны таким образом, чтобы это было обобщаемо, без специальных случаев для каждого. Обеспечивать быстродействие и надежность системы по мере роста использования: эффективные запросы, безопасные миграции и параллелизм, выдерживающий нагрузку. Проводить обзор pull request'ов коллег в соответствии с нашими руководящими принципами разработки и помогать поддерживать единообразие кодовой базы.
Более 5 лет опыта создания и эксплуатации производственных серверных систем, с ответственностью как минимум за одну службу от проектирования до дежурства. Степень бакалавра или выше в области инженерии программного обеспечения, компьютерных наук или смежной области. Глубокие знания Python и опыт работы с Django (или аналогичным фреймворком), PostgreSQL и системой очередей задач, такой как Celery. Важнее всего — опыт работы с реальной системой, а не знание конкретного фреймворка. Практический опыт оценки LLM, помимо вызова API модели. Вы понимаете, как строится эталонная задача, как оценивается прогон агента, как агрегируются и сравниваются результаты. Опыт работы с Harbor, Terminal-Bench, SWE-bench, Inspect или аналогичными инструментами является большим плюсом. Способность оценивать качество задач. Вы можете распознавать неоднозначные инструкции, слабые или уязвимые для обхода верификаторы, утечки ответов и проверки, которые срабатывают по неправильной причине. Способность принимать хорошие компромиссные решения. Вы стремитесь к минимальному дизайну, решающему проблему, расширяете существующее, прежде чем добавлять что-то новое, и можете объяснить, от чего вы отказались. Ответственность. Вы берете нечеткий запрос, находите соответствующий код, задаете вопросы только тогда, когда ответ меняет дизайн, и завершаете работу, включая миграции, тесты и крайние случаи, с которыми столкнутся пользователи. Быстрое освоение командных соглашений. Вы читаете письменные руководства, и ваши первые pull request'ы уже соответствуют им по именованию, структуре, тестам и обработке ошибок. Комфорт с фронтендом на TypeScript и React, когда там требуется изменение. Вам не нужно быть специалистом по фронтенду. Четкое изложение мыслей. Ваши описания pull request'ов и заметки по дизайну объясняют почему, а не только что.
Опыт работы с агентами в изолированных или контейнеризованных средах (Docker, Kubernetes или облачные изолированные среды, такие как Modal или Daytona). Опыт работы с LLM-как-судья или оценкой на основе рубрик, а также с уменьшением предвзятости и шума судьи. Знакомство с кодирующими агентами, такими как Claude Code, Codex или OpenHands, а также с MCP. Опыт работы с распределенным планированием задач, ограничениями параллелизма или блокировкой баз данных в больших масштабах. Вклад в проекты по оценке или инфраструктуре с открытым исходным кодом.
Компенсация: Базовая зарплата + акции от $xxx 000 до $xxx 000 Работайте на переднем крае ИИ, помогая ведущим мировым лабораториям ИИ улучшать свои самые передовые модели, создавая экспертные наборы данных, среды RL и первые в своем роде эталоны. Участвуйте в передовых исследованиях ИИ и демонстрируйте свою работу на ведущих конференциях, таких как ICLR, ICML и NeurIPS. Привносите передовые инновации в области ИИ в предприятия, применяя уроки, извлеченные из ведущих лабораторий ИИ, для решения реальных бизнес-задач. Сотрудничайте и учитесь у выдающихся коллег с глубоким опытом в области ИИ из Google, Meta, Amazon и других ведущих технологических компаний. Двигайтесь в темпе инноваций в области ИИ, с скоростью, ответственностью и влиянием стартапа.