Research Engineer, LangSmith Engine

О НАС

В LangChain наша миссия — сделать интеллектуальных агентов повсеместными. Мы создаем основу для инжиниринга агентов в реальном мире, помогая разработчикам перейти от прототипов к готовым к производству ИИ-агентам, на которых команды могут положиться. Мы начинали как широко используемые инструменты с открытым исходным кодом, а теперь предлагаем платформу для создания, оценки, развертывания и эксплуатации агентов в масштабе.

Привлекая $125 млн на раунде серии B от IVP, Sequoia, Benchmark, CapitalG и Sapphire Ventures, мы находимся на этапе, когда продолжаем разрабатывать новые продукты, ускоряем рост, и все члены команды оказывают значительное влияние на то, что мы создаем и как мы работаем вместе. LangChain — это место, где ваш вклад может определить, как эта технология проявит себя в реальном мире.

Сегодня наша платформа включает LangSmith (наблюдаемость, оценка, развертывание, флот и песочницы), наши фреймворки с открытым исходным кодом (LangChain, LangGraph и Deep Agents), а также недавно запущенный LangSmith Engine для автономного улучшения агентов. У нас более 100 млн ежемесячных загрузок open-source, более 6000 активных клиентов LangSmith, и 5 компаний из списка Fortune 10 используют LangSmith в производстве (+35% компаний из Fortune 500 в целом), включая команды в Klarna, Clay, Coinbase, Workday, Lyft, Cloudflare, Harvey, Rippling, Vanta, LinkedIn, Monday.com, Nvidia и Bridgewater.

О КОМАНДЕ:

Команда LangSmith Engine создает проактивный агент-инженер, который анализирует производственные трассировки, выявляет важные ошибки, рекомендует и пишет исправления, а также помогает предотвратить повторное возникновение этих проблем. Мы создаем агентов, которые могут понимать сложные программные системы и постоянно улучшать качество других ИИ-агентов.

О РОЛИ:

Мы ищем опытного инженера-исследователя, который поможет сделать агента Engine более способным и эффективным.

Вы будете изучать реальные сбои агентов, создавать бенчмарки, отражающие важные аспекты, проводить эксперименты для повышения производительности и преобразовывать успешные идеи в производственные решения. Это может включать улучшения в области промптинга и работы агентов, выбор моделей, дообучение и пользовательские модели после обучения. Основное внимание уделяется измеримому улучшению общего агента.

Эта роль также требует понимания производственного инжиниринга и компромиссов на уровне системы. Engine — это производственная система, поэтому улучшение агента — это не только максимизация производительности по бенчмаркам, но и понимание влияния на стоимость, задержку, надежность и масштабируемость. Вы будете работать в одной команде с производственными инженерами, проектируя, тестируя и внедряя улучшения, которые надежно работают в реальных условиях.

Местоположение: Сан-Франциско и Нью-Йорк

ЧТО ВЫ БУДЕТЕ ДЕЛАТЬ:

• Создавать и поддерживать бенчмарки и оценки, измеряющие качество и эффективность агентов Engine на реальных задачах.

• Разрабатывать и проводить эксперименты для улучшения производительности агентов по моделям, промптингу, контексту, инструментам, оркестрации и стратегиям агентов.

• Исследовать и внедрять методы дообучения и донастройки, когда они могут существенно улучшить возможности агента, его качество или стоимость.

• Превращать успешные эксперименты в производственные улучшения, тесно сотрудничая с инженерами и исследователями для измерения воздействия и предотвращения регрессий.

• Помогать определять ML-дорожную карту и техническое направление для улучшения агентов Engine, а также наставлять других инженеров посредством сильного технического лидерства.

ЧТО ВЫ ПРИВНЕСЕТЕ:

• 4+ года опыта в области ML/AI исследований или смежной области.

• Магистр или докторская степень в соответствующей научной области.

• Практический опыт работы с LLM и ИИ-агентами, включая анализ поведения моделей и повышение производительности в реальном мире.

• Богатый опыт проектирования бенчмарков, оценок и экспериментов для систем AI/ML; вы знаете, как определить, действительно ли изменение улучшило агента.

• Сильные навыки программной инженерии с опытом внедрения идей от исследовательского прототипа до измеримого производственного эффекта.

• Вы обладаете максимальной самостоятельностью и сильным исследовательским чутьем: вы можете выявлять проблемы с высоким потенциалом, работать в условиях неопределенности, быстро действовать и четко излагать свои выводы.

ПРИЯТНО ИМЕТЬ:

• Докторская степень в области машинного обучения, компьютерных наук или физики.

• Практический опыт работы с LLM-as-a-judge, автоматическими оценщиками, генерацией синтетических данных или оценкой человеком.

• Практический опыт работы с обучением с подкреплением, оптимизацией предпочтений, SFT, RLHF, RLAIF или другими методами пост-тренировки для LLM.

• Опыт оптимизации LLM-агентов по стоимости, задержке или эффективности задач в производстве.

• Опыт работы с обслуживанием моделей, оптимизацией инференса, распределенными системами или GPU-инфраструктурой.

Компенсация

Диапазон заработной платы: $240 000–$280 000 USD

Философия компенсации:

Мы предлагаем конкурентоспособную компенсацию, включающую базовую зарплату, переменную компенсацию для соответствующих ролей, существенные опционы на акции, льготы и бонусы.

Мы нанимаем на эту должность для различных уровней ответственности, и указанный диапазон компенсации отражает это. Ваше предложение будет зависеть от того, что мы узнаем о вашем влиянии, мастерстве, лидерстве и коммуникативных навыках в процессе собеседования. Мы заранее сообщим вам, на каком вы этапе, и обсудим компенсацию до этапа предложения. Члены команды в ЕС, Великобритании и Азиатско-Тихоокеанском регионе получают конкурентоспособные на местном уровне льготы, соответствующие региональным нормам и правилам.

ЛЬГОТЫ

Льготы включают медицинское, стоматологическое и офтальмологическое страхование, гибкий отпуск, пенсионный план 401(k), питание в рабочие дни в офисе в США и многое другое.