Post-Training Research Engineer

Должность: Инженер-исследователь по пост-тренировке Компания: Baseten Местоположение: Сан-Франциско / Гибрид

Компенсация: 200 000–275 000 долларов США в год

О BASETEN

Baseten обеспечивает критически важные выводы для самых динамичных ИИ-компаний в мире, таких как Cursor, Notion, OpenEvidence, Abridge, Clay, Gamma и Writer. Объединяя прикладные ИИ-исследования, гибкую инфраструктуру и удобные инструменты для разработчиков, мы позволяем компаниям, работающим на переднем крае ИИ, внедрять передовые модели в производство. Мы быстро растем и недавно привлекли 1,5 миллиарда долларов в рамках раунда серии F под руководством Altimeter Capital, Conviction Partners и Spark Capital. Присоединяйтесь к нам и помогите создать платформу, которую инженеры используют для выпуска ИИ-продуктов.

Мы ищем инженера с большим опытом в области машинного обучения и прочными основами в математике и информатике для присоединения к нашей растущей команде Post-Training в Baseten.

РОЛЬ

Пользовательские модели играют важную роль в успехе клиентов Baseten. По объему выводов подавляющее большинство трафика в Baseten приходится на модели, которые были пост-тренированы в той или иной форме, будь то обучение с подкреплением, дообучение с учителем, недавняя методика из литературы или внутренняя исследовательская методика Baseten. Команда Post-Training отвечает за успех пост-тренированных моделей наших клиентов, и мы используем широкий спектр методов для создания моделей, которые более эффективны и имеют более высокое качество, чем даже самые большие модели с закрытым исходным кодом, для конкретных потребностей клиента.

Ваша роль в качестве инженера-исследователя — создавать внутренние инструменты для поддержки всего этого. Мы заботимся об эффективном и масштабном обучении широкого спектра различных архитектур моделей с использованием различных методов. Иногда это включает глубокое погружение в определенную техническую тему, но чаще это работа по всему стеку — системные концепции, такие как Kubernetes, cgroups, системы хранения данных и топологии сетей, а также распределенные тензорные вычисления PyTorch и GPU-ядра.

Манифест

ПОСЛЕДНИЕ ИССЛЕДОВАНИЯ

• Денс, он-политика или оба?
• Повторный кэш KV для долгоживущих агентов
• Дистилляция без темноты — репликация дистилляции с учителем без учителя на Baseten

У нас нет жесткого набора навыков, но вот некоторые из того, что мы ищем:

• Глубокое понимание современных методов и инструментов машинного обучения для обучения трансформеров

• Продвинутый опыт работы с библиотекой тензорных/матричных вычислений, такой как PyTorch, TensorFlow, Jax или аналогичной

• Детальное понимание стратегий параллелизма при обучении трансформеров, таких как параллелизм данных, разделенный параллелизм данных, тензорный параллелизм, конвейерный параллелизм, параллелизм контекста

• Опыт и знания для профилирования и улучшения производительности распределенной GPU-программы в PyTorch или аналогичной библиотеке

• Способность выполнять анализ Roofline для настройки обучения трансформеров

• Готовность погружаться в сложные проблемы, работать с исследователями, получать спецификации, задавая важные вопросы, и выполнять их

• Знакомство с HPC и платформами распределенных вычислений, такими как Slurm, Ray, Kubernetes и Dask

• Знакомство с технологиями кластерных сетей, такими как Infiniband, RoCE, GPUDirect

• Прочные основы в концепциях операционных систем, таких как процессы, файлы, драйверы ядра, контейнеризация и сетевые протоколы

• Креативность и готовность задавать сложные вопросы о нашем подходе, предположениях и выборе инструментов

ПРЕИМУЩЕСТВА

• Конкурентоспособная компенсация, включая значительную долю в акциях

• (Только для США) 100% покрытие медицинской, стоматологической и офтальмологической страховки для сотрудника и иждивенцев

• Гибкая политика PTO, включая общекорпоративный зимний отпуск (наши офисы закрыты с сочельника до Нового года!)

• Оплачиваемый отпуск по уходу за ребенком

• Стипендия на программы по лечению бесплодия и созданию семьи через Carrot

• (Только для США) Организованный компанией 401(k)

• Возможность познакомиться с различными ИИ-стартапами, предлагающими беспрецедентные возможности для обучения и налаживания контактов.

Подайте заявку сейчас, чтобы отправиться в полезное путешествие по формированию будущего ИИ! Если вы мотивированный человек, увлеченный машинным обучением и желающий стать частью совместной и дальновидной команды, мы будем рады услышать от вас.

В Baseten мы стремимся создать разнообразную и инклюзивную рабочую среду. Мы предоставляем равные возможности трудоустройства всем сотрудникам и соискателям независимо от расы, цвета кожи, религии, пола, сексуальной ориентации, гендерной идентичности или самовыражения, национального происхождения, возраста, генетической информации, инвалидности или статуса ветерана.

Мы являемся работодателем с равными возможностями и будем рассматривать кандидатов с криминальным прошлым в соответствии с применимым законодательством (например, в соответствии с требованиями постановления San Francisco Fair Chance Ordinance, где применимо).