Research Engineer, Codex

Заголовок: Research Engineer, Codex Компания: OpenAI Местоположение: Сан-Франциско

Вознаграждение: $380K - $500K в год

О КОМАНДЕ

Команда Codex Research создает передовые агенты, которые OpenAI поставляет миру. Мы обучаем модели, лежащие в основе наших агентов в Codex, ChatGPT, API и других передовых продуктах: устойчивый, проактивный интеллект, который может управлять компьютерами, сотрудничать с людьми и другими агентами, а также расширять возможности людей и организаций в воображении, попытках и достижениях.

Мы определяем, что должны уметь агенты следующего поколения, создаем обучающий сигнал, который обучает этим способностям, и проводим эксперименты, которые воплощают их в жизнь. Наша работа охватывает кодирование, использование инструментов, использование компьютеров, координацию между агентами, выполнение долгосрочных задач, фактичность, следование инструкциям, калиброванное рассуждение и вкус.

Наша команда — это место, где создаются новые возможности моделей. Мы создаем данные, среды, оценщики, методы обучения и петли обратной связи, которые формируют возможности будущих агентов OpenAI, а затем проводим крупные тренировки и внедряем эти возможности в продукты, которыми пользуются люди.

О РОЛИ

В качестве члена команды Codex Research вы будете улучшать возможности, надежность и соответствие продуктов агентным моделям OpenAI. Вы можете отвечать за направление исследований, создавать инфраструктуру, которая ускоряет и повышает надежность крупномасштабных тренировок, создавать оценки, выявляющие слабые места моделей, или продвигать возможность от идеи через эксперименты, интеграцию и запуск.

Эта роль намеренно широка. Самые сильные кандидаты не определяются одним методом или подобластью; это люди, которые могут взять на себя неопределенную проблему возможностей и добиться прогресса в исследованиях, инженерии, данных, оценках и продуктах. Вам должно быть интересно работать с моделями, которые действуют в мире: пишут и отлаживают код, используют инструменты, вызывают функции, управляют компьютерами, сотрудничают с другими агентами и выполняют ценную работу от имени пользователей.

Вы будете работать с исследователями, инженерами, продуктовыми командами, инфраструктурными командами и партнерами по безопасности/согласованию, чтобы решить, что должно войти в основные тренировки моделей, измерить, сработало ли это, и внедрить улучшения в продукты, используемые реальными людьми. Это роль с высокой степенью самостоятельности для людей, которые хотят, чтобы их работа напрямую влияла на передовые модели.

В ЭТОЙ РОЛИ ВЫ МОЖЕТЕ:

• Проектировать и проводить эксперименты, которые улучшают поведение агентных моделей в области кодирования, использования инструментов, вызова функций, использования компьютеров, совместной работы нескольких агентов, выполнения долгосрочных задач, фактичности, следования инструкциям и калиброванного рассуждения.

• Отвечать за комплексные улучшения стека после обучения, включая RL, конвейеры данных, оценщики, сигналы вознаграждения, оценки, диагностику и анализ поведения моделей.

• Создавать оценки и среды, которые выявляют следующий набор сбоев моделей, а затем превращать эти сбои в обучающие данные, исправления продуктов или новые направления исследований.

• Сотрудничать с командами продуктов Codex, API/платформы, ChatGPT и общего агента, чтобы понять потребности пользователей и преобразовать продуктовые сигналы в улучшения моделей.

• Работать над ранними вмешательствами в обучение и согласование, включая смеси данных, цели, синтетические данные и циклы оценки, которые формируют последующее поведение агентов.

• Помогать решать, какие интеграции, возможности и исправления готовы для включения в основные тренировки моделей.

• Улучшать механизмы крупномасштабного обучения и запуска: скорость экспериментов, надежность, наблюдаемость, воспроизводимость, стоимость, задержка и готовность к производству.

• Брать на себя кросс-функциональные проекты, касающиеся обучения моделей, продуктовой инфраструктуры и производственного механизма агентов, такие как многоагентные системы или обучение непосредственно в средах, близких к производственным.

• Отлаживать сложные сбои в выпущенных или почти выпущенных моделях и превращать нечеткое качественное поведение в конкретные гипотезы, эксперименты и исправления.

ВАМ МОЖЕТ ПОДОЙТИ ЭТА РОЛЬ, ЕСЛИ ВЫ:

• Имеете прочные технические основы в области машинного обучения, программной инженерии, систем, статистики или смежной области и можете быстро учиться в областях, с которыми вы раньше не работали.

• Имеете практический опыт работы с LLM, RL, RLHF/RLAIF, пост-тренингом, оценками, оценщиками, синтетическими данными, обучением моделей, кодирующими агентами, агентами, использующими инструменты, или производственными ML-системами.

• Вас привлекают открытые проблемы, где путь неясен, сигнал зашумлен, а правильный ответ требует как исследовательского чутья, так и инженерного исполнения.

• Заботитесь о влиянии на продукт и поведении моделей, а не только об изменении показателей в бенчмарках. У вас есть собственное мнение о том, что делает агента полезным, надежным, честным, tasteful (со вкусом) и простым в использовании.

• Можете перейти от неопределенной поведенческой проблемы к конкретному эксперименту: определить гипотезу, построить конвейер, запустить модель, проанализировать результат и решить, что делать дальше.

• Комфортно работаете на стыке исследований, продуктов, инфраструктуры, данных, оценок и безопасности, и можете четко общаться с каждой группой.

• Любите создавать нагруженные системы и процессы, когда это необходимо команде, даже если работа не самая гламурная.

• Хотите обучать и выпускать модели, которые делают агентов по-настоящему полезными для разработчиков, предприятий, исследователей и обычных пользователей.

О OpenAI

OpenAI — это компания, занимающаяся исследованиями и внедрением ИИ, призванная обеспечить, чтобы универсальный искусственный интеллект приносил пользу всему человечеству. Мы раздвигаем границы возможностей систем ИИ и стремимся безопасно внедрять их в мир посредством наших продуктов. ИИ — это чрезвычайно мощный инструмент, который должен создаваться с учетом безопасности и потребностей человека в своей основе, и для достижения нашей миссии мы должны охватывать и ценить множество различных точек зрения, голосов и опыта, которые составляют полный спектр человечества.

Мы являемся работодателем, предоставляющим равные возможности, и мы не дискриминируем по признаку расы, религии, цвета кожи, национального происхождения, пола, сексуальной ориентации, возраста, статуса ветерана, инвалидности, генетической информации или других применимых юридически защищенных характеристик.

В OpenAI мы верим, что искусственный интеллект имеет потенциал помочь людям решить огромные глобальные проблемы, и мы хотим, чтобы преимущества ИИ широко распространялись. Присоединяйтесь к нам в формировании будущего технологий.