Software Engineer - Inference Platform

Название: Инженер-программист — Платформа инференса Компания: Baseten Местоположение: Сан-Франциско / Торонто / Нью-Йорк / Монреаль / Сиэтл / Гибрид

Компенсация: $180K — $360K в год

О BASETEN

Baseten обеспечивает критически важный инференс для самых динамичных AI-компаний в мире, таких как Cursor, Notion, OpenEvidence, Abridge, Clay, Gamma и Writer. Объединяя прикладные исследования в области ИИ, гибкую инфраструктуру и бесшовные инструменты для разработчиков, мы позволяем компаниям, работающим на передовых рубежах ИИ, внедрять передовые модели в производство. Мы быстро растем и недавно привлекли $1,5 млрд в рамках раунда F, возглавляемого Altimeter Capital, Conviction Partners и Spark Capital. Присоединяйтесь к нам и помогите построить платформу, которую инженеры используют для выпуска продуктов с использованием ИИ.

РОЛЬ

Мы ищем инженеров распределенных систем и ориентированных на продукт универсалов для создания распределенной среды выполнения, которая обеспечивает крупномасштабный LLM-инференс на Baseten. Наша платформа инференса позволяет клиентам развертывать и эксплуатировать передовые модели с ведущей в отрасли производительностью, масштабируемостью и надежностью. Она также обеспечивает работу Model APIs — наших размещенных конечных точек для новейших моделей с открытым исходным кодом. Вы будете работать над всем стеком: от пользовательского опыта разработчиков, который они используют для развертывания моделей, через библиотеки, лежащие в основе таких функций, как вызов инструментов и рассуждения, до систем, которые оркестрируют развертывания на Kubernetes и эффективно маршрутизируют трафик. Ваша задача — обеспечить, чтобы каждая модель на нашей платформе была быстрой, надежной и экономически эффективной. Вы присоединитесь к небольшой, высокоэффективной команде на стыке распределенных систем, производительности моделей, инфраструктуры и продукта, помогая определить, как разработчики используют модели ИИ в масштабе. Эта роль идеально подходит для инженеров, которые любят владеть системами в продакшене, решать сложные интеграционные задачи и делать сложную инфраструктуру простой и надежной для пользователей.

ПРИМЕРЫ ИНИЦИАТИВ

Вы сможете работать над проектами такого типа на нашей платформе инференса:

• Baseten Inference Stack на NVIDIA Dynamo Day
• В 2 раза более быстрый инференс с маршрутизацией, учитывающей KV-кэш
• Как Baseten multi-cloud capacity management (MCM) объединяет развертывания

ОБЯЗАННОСТИ

• Создание инфраструктуры и систем оркестрации, которые развертывают и запускают крупномасштабный распределенный LLM-инференс, включая маршрутизацию, автомасштабирование, планирование и управление средой выполнения.

• Проектирование, создание и эксплуатация Model APIs с акцентом на продвинутые возможности инференса: структурированные выходные данные (JSON-режим, генерация с ограничениями грамматики), вызов инструментов/функций и мультимодальное обслуживание.

• Реализация фундаментальных основ платформы, таких как версионирование API, валидация, учет использования, квоты и аутентификация.

• Инструментальная глубокая наблюдаемость (метрики, трассировки, логи) и построение воспроизводимых бенчмарков для скорости, надежности и качества. Помощь в установлении передовых практик для тестирования, автоматизации выпусков и операционного совершенства.

• Отладка и укрепление сложных производственных систем, охватывающих Kubernetes, распределенные среды выполнения, сети и GPU-нагрузки, для повышения надежности и масштабируемости.

• Партнерство с инженерами по производительности инференса и другими командами для обеспечения широкой доступности новых оптимизаций для клиентов и их простоты настройки.

• Полное владение проектами, от архитектуры до развертывания, мониторинга и итераций на основе обратной связи от клиентов. При этом принятие продуманных компромиссов между производительностью, надежностью, простотой эксплуатации и пользовательским опытом.

ТРЕБОВАНИЯ

• Бакалавриат, магистратура или Ph.D. в области компьютерных наук, инженерии или смежной области, или эквивалентный практический опыт.

• Более 3 лет опыта создания и эксплуатации распределенных систем, серверной инфраструктуры или крупномасштабных API, где надежность, задержка и масштаб являются первоочередными задачами.

• Подтвержденный опыт владения низколатентными, надежными серверными службами, включая ограничение скорости, аутентификацию, квоты, учет использования и миграции.

• Инфраструктурная интуиция с пониманием производительности: профилирование, трассировка, планирование мощностей и управление SLO.

• Уверенность в отладке проблем с производительностью и надежностью на нескольких уровнях стека, от поведения приложений до внутренних компонентов среды выполнения и инфраструктуры.

• Сильное чувство пользовательского опыта разработчиков. Вы думаете о том, как используются системы, а не только о том, как они работают.

• Стремление изучать новые языки, фреймворки и системы, а также реальный интерес к инженерии инференса. Предварительный опыт работы с ML или LLM не требуется, хотя опыт работы с моделями обслуживания или системами инференса является плюсом.

• Отличные навыки письменного общения и сотрудничества, включая написание четких документов по проектированию и работу между отделами.

ПРИЯТНО ИМЕТЬ

• Опыт работы или участия в разработке LLM-инференс-движков и фреймворков, таких как vLLM, SGLang, TensorRT-LLM, TGI или Dynamo.

• Глубокий опыт работы с Kubernetes, включая операторы и пользовательские ресурсы, а также знакомство с сервисными сетками или API-шлюзами.

• Опыт распределенного планирования, автомасштабирования или оркестрации служб.

• Опыт эксплуатации GPU-нагрузок в продакшене.

• Опыт работы с клиентской инфраструктурой или API для разработчиков, или участие в разработке инфраструктуры с открытым исходным кодом или ML-систем.

• Знакомство с инструментами наблюдаемости, системами CI/CD или автоматизацией выпусков.

ПРЕИМУЩЕСТВА

• Конкурентоспособная компенсация, включая значительный пакет акций.

• (Только для США) 100% покрытие медицинской, стоматологической и офтальмологической страховки для сотрудника и его иждивенцев.

• Гибкая политика PTO, включая общекорпоративный зимний отпуск (наши офисы закрыты с сочельника до Нового года!).

• Оплачиваемый отпуск по уходу за ребенком.

• Стипендия на рождение ребенка и создание семьи через Carrot.

• (Только для США) Корпоративная программа 401(k).

• Возможность взаимодействия с различными ML-стартапами, предоставляющая беспрецедентные возможности для обучения и налаживания связей.

Подайте заявку сейчас, чтобы отправиться в полезное путешествие по формированию будущего ИИ! Если вы мотивированный человек, увлеченный машинным обучением и желающий стать частью коллектива, ориентированного на сотрудничество и дальновидное мышление, мы будем рады получить от вас известие.

В Baseten мы стремимся к созданию разнообразной и инклюзивной рабочей среды. Мы предоставляем равные возможности трудоустройства всем сотрудникам и кандидатам независимо от расы, цвета кожи, религии, пола, сексуальной ориентации, гендерной идентичности или самовыражения, национального происхождения, возраста, генетической информации, инвалидности или статуса ветерана.

Мы являемся работодателем, предоставляющим равные возможности, и будем рассматривать кандидатов с судимостью в соответствии с применимым законодательством (например, в соответствии с требованиями Ордонанса о справедливых шансах Сан-Франциско, где применимо).