ML & Agentic Systems Engineer [IC4]

Должность: ML & Agentic Systems Engineer [IC4] Местоположение: Удаленно

Кто мы Наша миссия — привнести ясность и контроль в самые сложные кодовые базы мира. ИИ ускоряет создание кода, но инфраструктура для понимания, контроля и развития этого кода не успевает за ним. Sourcegraph предоставляет инженерным организациям полную видимость по всем их системам, точный контекст для их агентов и возможность выполнять скоординированные изменения кода в масштабе. Поскольку агентная разработка становится доминирующей парадигмой разработки, мы предоставляем контекстный уровень, необходимый командам для контроля над их кодовой базой. С помощью Code Search, Deep Search, MCP и Agentic Batch Changes мы сегодня выполняем эту миссию — предоставляя инженерным командам и их инструментам ИИ контекст между репозиториями для уверенной навигации по огромным кодовым базам и возможность вносить изменения в сотни репозиториев одновременно. Компании, такие как Stripe, Reddit и Leidos, полагаются на Sourcegraph для более быстрой и качественной разработки. Мы поддерживаемся a16z, Sequoia и Redpoint и гордимся тем, что являемся глобально распределенной командой, которая ценит высокую степень самостоятельности, прямое общение и любовь клиентов. Если вы хотите создать инфраструктуру, которая позволит каждой инженерной команде — и каждому развернутому ими агенту — уверенно работать со своей кодовой базой, присоединяйтесь к нам.

Часы работы и местоположение 🌎 Хотя мы нанимаем сотрудников почти в любой точке мира, для этой должности мы предпочитаем, чтобы вы проживали в следующих местах. Однако, если вы считаете себя квалифицированным, мы будем рады рассмотреть вашу кандидатуру независимо от местоположения. В любом случае, рабочие часы должны совпадать с EST не менее 20 часов в неделю. Предпочтительные места: США

Почему эта работа захватывающая Sourcegraph находится на переднем крае создания инструментов ИИ для решения самых больших проблем в индустрии программного обеспечения, проблем, которые только растут с увеличением кодовых баз и с тем, что все больше работы выполняется агентами. Команда Code Understanding отвечает за интерфейсы, где этот интеллект встречается с разработчиком: Deep Search, наш многоступенчатый движок ответов на основе агентов для всего набора кодовых баз предприятия, Query Assist, преобразующий запросы на естественном языке в синтаксис запросов Sourcegraph, Smart Hovers, кратко суммирующий символы прямо там, где они нужны разработчикам, управляемый обзор изменений и API, которые ежедневно используются как людьми, так и агентами ИИ. Большая часть того, что делает эти интерфейсы работающими, — это агентная разработка: смесь инженерии программного обеспечения, машинного обучения и статистики. Агентная разработка подсказывает нам, какую модель использовать и когда, как извлекать и упаковывать контекст, как измерять качество ответов, где дообучать или дистиллировать меньшую модель для снижения затрат и задержки, и как расширить один вызов LLM в надежный многоступенчатый агент. Будучи ведущим ML и агентным инженером в Code Understanding, вы будете техническим руководителем этого направления: определяя направление команды в отношении моделей, оценок и агентных систем, делая наши продукты измеримо лучше, быстрее и дешевле, а также повышая владение командой навыками работы с моделями. Это роль уровня staff: мы ищем технического лидера, а не просто сильного индивидуального исполнителя. Основная потребность — это авторитет в области производственного ML и оценки, который также создает производственные агентные системы. Вы будете решать самые сложные и неоднозначные проблемы в этой области, устанавливать стандарты, которым будут следовать другие, и влиять на направление работы за пределами вашей непосредственной команды. У вас будет захватывающая возможность определить видение того, как мы можем предоставить лучший опыт понимания кода на рынке, объединив наши детерминированные, крупномасштабные системы и ИИ в невиданные ранее возможности.

Конкретно, вы будете отвечать за такую работу, как:

• Агентные системы. Вы будете проектировать и укреплять многоступенчатые контуры агентов, использующих инструменты, лежащие в основе текущих и новых агентных возможностей, превращая исследования и эксперименты в надежные, наблюдаемые и доступные продукты в корпоративном масштабе.
• Прагматичное использование оценок. Создание агентных продуктов означает необходимость понимать, когда изменение действительно помогло, что сложно, когда агенты постоянно меняются, а продукт постоянно развивается. Вы будете проявлять здравомыслие в отношении того, где оценки оправдывают себя, когда использовать целевые экспресс-тесты и метрики, и как избежать шума, выдаваемого за строгость, чтобы мы могли уверенно и быстро двигаться вперед.
• Модели: выбор, обновление и обучение. Вы будете решать, какие модели мы используем и где, управлять обновлениями и дообучать наши собственные модели, когда это целесообразно.
• Извлечение и инженерия контекста. Вы будете работать над тем, как мы привязываем модели к коду клиента — извлечение, ранжирование, контекстные окна, цитирование — чтобы сделать ответы более точными и проверяемыми.
• Стоимость и задержка. Каждая поверхность имеет экономический бюджет на пользователя. Вы будете рассматривать стоимость и задержку как функции продукта, профилировать, дистиллировать, кэшировать и подбирать подходящий размер моделей, чтобы мы могли устойчиво внедрять амбициозные функции.

Вы будете делать это в небольшой, преимущественно старшей команде, которая быстро выпускает продукты, отвечает за большую часть функционала и имеет оптимизированное управление продуктом: инженеры здесь общаются с клиентами, формулируют проблему и отвечают за нее от начала до конца. У вас будет реальная свобода действий в отношении технического направления и прямой доступ к результатам вашей работы.

📅 В течение одного месяца вы будете…

• Запускать продукты Code Understanding и их конвейеры моделей/агентов локально от начала до конца и вносить свои первые улучшения в модель, промпт, путь извлечения или оценку.
• Сформировать четкое представление о том, где возникают проблемы с ИИ-инжинирингом, и какие поверхности продукта наиболее ограничены ими.
• Познакомиться с командой и нашими клиентами и начать формировать собственное мнение о том, куда должны двигаться наши агентные продукты дальше.
• Присоединиться к ротации поддержки по вызову команды.

📅 В течение трех месяцев вы будете…

• Отвечать за значительный агентный сегмент продукта от начала до конца, управляя им от постановки проблемы до развертывания и измерения.
• Определить, как команда ответственно выпускает изменения моделей и промптов: оценки, дашборды и защитные механизмы, которые делают регрессии качества и стоимости видимыми до того, как они затронут клиентов.
• Начать повышать уровень товарищей по команде в работе с моделями, работая с ними в паре, просматривая их код и демонстрируя хорошие инстинкты в агентной разработке.

📅 В течение шести месяцев вы будете…

• Стать признанным техническим авторитетом по агентной разработке и агентным системам в Code Understanding. Вы станете человеком, к которому товарищи по команде, и все чаще весь отдел, будут обращаться за решениями по модели, оценке и дизайну агентов.
• Измеримо улучшить продукты: лучшее качество ответов, снижение стоимости/задержки или новые агентные возможности, которые раньше были невозможны.
• Определять направление дорожной карты команды в тех областях, где она пересекается с агентами, проявляя убежденность, подкрепленную доказательствами, в том, какие ставки стоит делать, и вовлекая других инженеров для их реализации.

О вас Вы — инженер уровня staff и технический лидер с приобретенными за годы работы навыками в области производственного машинного обучения, оценки и агентных систем. Эта высокоэффективная роль опирается на вашу способность принимать обоснованные решения по моделям и оценке для быстроразвивающегося продукта, создавать производственные системы вокруг них, управлять техническим направлением и быть мультипликатором силы для талантливой, ориентированной на продукт команды. Вы одинаково комфортно рассуждаете об оценочной системе, процессе дообучения, конвейере извлечения и многоступенчатом агентном контуре, который их объединяет, и вы делаете всех вокруг вас лучше во всем этом. Вы работаете в масштабе staff: вы отвечаете за самые неоднозначные, высокорискованные проблемы в вашей области, проникаете в любую кодовую базу, которая требуется для решения проблемы, устанавливаете стандарты и шаблоны, которым следуют другие, и плавно переводите информацию между инженерными целями и бизнес-задачами. Вы влияете на направление работы за пределами вашей непосредственной команды. Вы лидируете посредством технического превосходства и наставничества. Вы лично отвечали за жизненный цикл производственной модели. Вы обучали или дообучали как минимум одну модель и прошли путь от конструирования набора данных через оценку, развертывание в продакшене и мониторинг. Вы можете объяснить, как вы выбирали между обучением или дообучением и промптингом или извлечением, как вы выбирали базовые уровни и метрики, что показал анализ ошибок, и как производственные данные повлияли на следующую версию. Вы создаете агентов, свободно и уверенно. Вы проектировали многоступенчатые агентные системы и делали их надежными, наблюдаемыми и экономически обоснованными. У вас есть точка зрения на то, где агенты преуспевают, а где требуется детерминированный код или человеческое суждение. У вас сильное суждение в области оценки. Вы создаете репрезентативные наборы данных, значимые базовые уровни, полезные таксономии ошибок и критерии выпуска, которые связывают офлайн-измерения с поведением в продакшене. Вы знаете, где строгие оценки оправдывают себя, где достаточно легких экспресс-тестов или качественного обзора, а где точная на вид метрика вводит в заблуждение. Вы относитесь к стоимости и задержке как к ограничениям продукта. Вы принимаете взвешенные решения по качеству, задержке и стоимости и используете соответствующую комбинацию выбора модели, промптинга, извлечения, кэширования, дистилляции и дообучения, а не рефлекторно обращаетесь к более сложной модели. Вы работаете автономно над неоднозначными проблемами. Получив грубую идею продукта, несколько цитат клиентов и ветку Slack, вы возвращаетесь с планом, прототипом, этапами и точкой зрения на компромиссы, без предварительного определения объема. Вы отвечаете за проекты с высоким техническим риском от начала до конца. Вы вносите вклад за пределами своей области. Будучи старшим IC, вы проникаете в любую часть кодовой базы, которая требуется для решения проблемы, замечаете проблемы за пределами вашей непосредственной области и переводите информацию между инженерными целями и бизнес-задачами. Вы повышаете уровень людей вокруг вас. Вы наставляете, работая в паре над сложными проблемами, предоставляя содержательные обзоры дизайна и кода, и распространяя грамотность в области агентной разработки по всей команде. Вы рассматриваете инвестирование в рост ваших товарищей по команде как часть работы. Вы ориентированы на клиента и продукт. Вы комфортно чувствуете себя на звонках с клиентами и в потоках обратной связи, вы превращаете сырые сигналы в требования, объемы работ и этапы, и вы возражаете, когда обратная связь уводит продукт в неправильном направлении. Вы прагматичны, а не перфекционисты. Вы выпускаете наименьший корректный продукт, предпочитаете надежные решения сложным и поддерживаете высокий стандарт качества благодаря простоте.

Об основных инженерных принципах:

• Вы — сильный инженер-программист, который может выпускать производственные сервисы.
• Вы комфортно себя чувствуете в нашем стеке — Go на бэкенде, TypeScript на фронтенде, GraphQL, Postgres, Docker — или вы явно способны и готовы освоить его.
• Вы свободно владеете инструментами агентного кодирования, понимаете и отвечаете за каждую строку, которую они отправляют.
• Вы комфортно себя чувствуете в асинхронной, многосервисной, быстро меняющейся удаленной среде.

Желательно:

• Вы участвовали в выпуске продукта для разработчиков на базе LLM или агентов, о котором можете высказаться: что сработало, что нет, что бы вы сделали по-другому.
• Вы дообучали, дистиллировали или обучали модели для достижения целей по стоимости, задержке или качеству в продакшене.
• Опыт работы с извлечением, ранжированием, эмбеддингами или релевантностью поиска.
• Опыт работы напрямую с корпоративными клиентами и преобразования их потребностей в продукт.
• Опыт наставничества или повышения квалификации инженеров, особенно повышения уровня владения командой навыками агентной разработки.

Уровень 📊 Эта должность — IC4. Вы можете прочитать больше о нашей философии уровней должностей в нашем Справочнике.

Компенсация 💸 Мы платим выше рыночных зарплат, потому что хотим нанимать исключительных людей, которые могут сосредоточиться на создании отличных продуктов, а не на беспокойстве об оплате счетов. Как открытая и прозрачная компания, наша философия компенсации и диапазоны оплаты доступны каждому сотруднику Sourcegraph, и мы стремимся сделать наш подход справедливым, объяснимым и конкурентоспособным. Ваша базовая зарплата определяется диапазоном IC4 для вашей зоны местоположения (1-4). Наши диапазоны оплаты основаны на рыночных данных и разработаны для обеспечения конкурентоспособной компенсации, где бы вы ни жили. В процессе подбора мы обсудим применимый к вам диапазон в зависимости от уровня должности, соответствующих навыков, опыта, квалификации и зоны местоположения. 💰 Стартовая зарплата для диапазона IC4 в каждой зоне составляет:

• Зона 2: 176 000 долларов США
• Зона 3: 132 000 долларов США
• Зона 4: 88 000 долларов США 📈 В дополнение к конкурентоспособной денежной компенсации мы предлагаем значительный пакет акций (потому что, когда Sourcegraph добивается успеха, мы хотим, чтобы и вы добились успеха) и щедрые льготы и бонусы.

Процесс собеседования Ниже приводится процесс собеседования, который вы можете ожидать для этой должности (вы можете прочитать больше о типах собеседований в нашем Справочнике). Это может показаться большим количеством шагов, но будьте уверены, что мы двигаемся быстро, и шаги разработаны, чтобы помочь вам получить необходимую информацию для определения того, подходим ли мы друг другу… Собеседование — это улица с двусторонним движением, в конце концов! Мы ожидаем, что процесс собеседования займет в общей сложности 5,5 часов. 👋 Вводный этап — мы проводим начальные беседы, чтобы лучше узнать вас…

• [30 м] Скрининг рекрутером
• [30 м] Скрининг менеджером по найму 🧑‍💻 Этап собеседования с командой — затем мы углубляемся в ваш опыт и знакомим вас с членами команды, включая кросс-функциональных партнеров…
• [60 м] Глубокое погружение в резюме
• [60 м] Системный дизайн
• [60 м] Собеседование по укреплению исследовательского агента кода
• [60 м] Кросс-функциональное сотрудничество команды / Ценности 🎉 Финальный этап собеседования — мы переводим вас на финальный раунд, где вы лучше поймете наш бизнес и ценности в целом…
• [30 м] Руководство Мы проверяем рекомендации и проводим проверку данных. Обратите внимание: вы можете запросить дополнительные беседы с кем угодно, кого хотели бы встретить, но не встретили во время процесса собеседования.

Узнайте больше о нас Вы можете узнать больше о том, как работать в Sourcegraph, прочитав наш справочник. Мы — амбициозная команда, которая совместно работает над созданием самой влиятельной компании в мире. Вы можете узнать больше о нашей культуре, конкурентоспособной компенсации и льготах здесь. Sourcegraph — это работодатель, предоставляющий равные возможности; мы приветствуем людей из всех слоев общества. Sourcegraph участвует в E-Verify для сотрудников из США.