Старший инженер-программист — Тренер LLM

Мы ищем Старшего инженера-программиста для участия в разработке и оценке данных для обучения ИИ для ведущей платформы экспертных человеческих данных для ИИ-агентов и LLM.

В этой роли вы будете работать на стыке разработки программного обеспечения и искусственного интеллекта, помогая ИИ-лабораториям и компаниям создавать лучшие, более безопасные и более мощные модели. Вы будете использовать свой глубокий технический опыт для написания промптов, создания эталонных решений в виде кода, оценки результатов работы моделей и предоставления структурированного человеческого сигнала, который делает ИИ-системы умнее.

Это не традиционная инженерная роль — это уникальная возможность для старших инженеров, которые хотят формировать то, как следующее поколение ИИ понимает, генерирует и рассуждает о коде.

Ключевые обязанности

• Создание и проверка задач по написанию кода на основе реальных сценариев разработки программного обеспечения, включая отладку, рефакторинг, генерацию кода, использование API, автоматизированные тесты, производительность, безопасность и граничные случаи.
• Написание высококачественных эталонных решений, которые являются правильными, понятными, тестируемыми и соответствуют требованиям задачи.
• Оценка сгенерированного ИИ кода и ответов с использованием структурированных рубрик, оценка корректности, ясности, безопасности, производительности, поддерживаемости и следования инструкциям.
• Сравнение нескольких ответов моделей, выбор наилучшего ответа и обоснование вашего решения с четким техническим объяснением.
• Выявление ошибок, сгенерированных API (hallucinated APIs), отсутствующих граничных случаев, слабых объяснений и плохих инженерных решений в результатах, сгенерированных ИИ.
• При необходимости работа с терминальными рабочими процессами, включая запуск тестов, отладку проблем, управление зависимостями и навигацию по репозиториям.
• Последовательное следование подробным инструкциям и участие в калибровочных мероприятиях для обеспечения высококачественных, надежных оценок.

Основные требования

• 5+ лет профессионального опыта в разработке программного обеспечения на позиции backend, fullstack или системного инженера.
• Глубокое знание как минимум одного основного языка программирования, в идеале Python, JavaScript/TypeScript, Go, Java, C++ или SQL.
• Практический опыт работы с Terminal-Bench, способность оценивать производительность ИИ-агентов в терминальных задачах, включая компиляцию кода, запуск тестов, управление средами и выполнение многоэтапных рабочих процессов разработки программного обеспечения.
• Уверенное владение Git, командной строкой/терминалом и общими рабочими процессами разработки.
• Способность критически оценивать код — не только то, работает ли он, но и то, насколько он хорошо спроектирован, безопасен и поддерживаем.
• Предыдущий опыт работы в производстве данных для ИИ, RLHF, аннотировании данных или проектах по оценке LLM.
• Отличные навыки письменного и устного общения на английском языке.
• Способность работать самостоятельно в удаленной, асинхронной, быстро развивающейся среде.
• Высокое внимание к деталям и способность последовательно следовать сложным, основанным на рубриках инструкциям.

Желательно

• Опыт работы с рабочими процессами, основанными на Python, фреймворками автоматизированного тестирования, Docker, Linux, bash или контейнеризированными средами.
• Опыт работы с рассуждениями на уровне репозитория кода, большими кодовыми базами или вкладами в open-source.
• Опыт работы с backend-системами, инженерией данных, DevOps, инфраструктурой, безопасностью или большими кодовыми базами.

Дополнительно

• Пересечение часовых поясов США: PST (GMT -8)