Software Engineer - Inference Performance

Должность: Инженер-программист - Производительность инференса Компания: Baseten Местоположение: Сан-Франциско / Торонто / Нью-Йорк / Монреаль / Сиэтл / Гибрид

Компенсация: $180K - $360K в год

О BASETEN

Baseten обеспечивает критически важный инференс для самых динамичных AI-компаний в мире, таких как Cursor, Notion, OpenEvidence, Abridge, Clay, Gamma и Writer. Объединяя прикладные исследования в области ИИ, гибкую инфраструктуру и бесшовные инструменты для разработчиков, мы позволяем компаниям, работающим на переднем крае ИИ, внедрять передовые модели в производство. Мы быстро растем и недавно привлекли $1.5B в рамках раунда F анонсируем наш раунд F, возглавляемого Altimeter Capital, Conviction Partners и Spark Capital. Присоединяйтесь к нам и помогите создать платформу, которую разработчики используют для создания AI-продуктов.

ВАКАНСИЯ

Мы ищем инженеров по производительности инференса, которые хотят сделать самые требовательные AI-нагрузки в мире быстрее и эффективнее. Вы будете работать над всем стеком: от движка инференса и среды выполнения до планирования, обслуживания и маршрутизации. Попутно вы будете применять такие методы, как разделение prefill/decode, спекулятивное декодирование и управление KV-кэшем. Вы будете рассуждать на основе фундаментальных принципов о том, куда уходит время и память, находить узкие места производительности и устранять их. Ваша работа напрямую влияет на скорость работы моделей наших клиентов и эффективность их обслуживания. Эта роль идеально подходит для тех, кто преуспевает в быстро меняющейся стартап-среде и стремится внести значительный вклад в захватывающую область LLM-инференса.

ПРИМЕРЫ ПРОЕКТОВ

В качестве инженера по производительности инференса вы сможете работать над следующими типами проектов:

• Агентные ядра в производстве
• Как мы создали новый самый быстрый API для GLM-5.2
• Обучение моделей в реальном времени для спекулятивного декодирования
• Ускорение токенизации Kimi K3 в 18 раз
• Стек инференса Baseten
• Оптимизация производительности моделей

ОБЯЗАННОСТИ

• Реализация и внедрение передовых методов инференса, глубоко погружаясь во внутренние механизмы среды выполнения. Это включает квантование, спекулятивное декодирование, повторное использование KV-кэша, пакетное предварительное заполнение, LoRA, управляемую генерацию для структурированных выходных данных и пользовательские алгоритмы планирования и маршрутизации.
• Профилирование и оптимизация инференса от начала до конца: от накладных расходов при запуске ядра и раскладки памяти до планирования запросов, разделения prefill/decode и маршрутизации с учетом кэша. Проведение межслойных расследований, таких как отслеживание регрессии задержки хвоста от времени запроса через маршрутизацию и пакетирование до уровня ядра.
• Превращение производительности в экономию затрат. Увеличение количества токенов на GPU-час, повышение утилизации и предоставление клиентам и внутренним командам четких компромиссов между задержкой, пропускной способностью и стоимостью.
• Быстрый запуск и настройка новых архитектур моделей на новом оборудовании, часто в течение той же недели, когда они выпускаются.
• Создание фреймворков для бенчмаркинга, которые измеряют реальную производительность для различных архитектур моделей, размеров пакетов, длин последовательностей и конфигураций оборудования.
• Участие в разработке движков инференса с открытым исходным кодом (vLLM, SGLang, TensorRT-LLM) и тесное сотрудничество с командами по моделям, инфраструктуре и работе с клиентами для достижения успеха.

ТРЕБОВАНИЯ

• Степень бакалавра, магистра или доктора наук в области компьютерных наук, инженерии, математики или смежной области.
• Опыт работы с одним или несколькими языками программирования общего назначения, такими как Python или C++.
• Знакомство с методами оптимизации LLM (например, квантование, спекулятивное декодирование, непрерывное пакетирование).
• Глубокое знание библиотек машинного обучения, особенно PyTorch, TensorRT или TensorRT-LLM.
• Подтвержденный интерес и опыт работы с LLM.
• Глубокое понимание архитектуры GPU.

ПРЕИМУЩЕСТВА

• Конкурентоспособная заработная плата, включая значительную долю в акционерном капитале
• (Только для США) 100% покрытие медицинской, стоматологической и офтальмологической страховки для сотрудника и его иждивенцев
• Гибкая политика PTO, включая общекорпоративный зимний отпуск (наши офисы закрыты с Сочельника до Нового года!)
• Оплачиваемый отпуск по уходу за ребенком
• Стипендия на репродуктивные технологии и создание семьи через Carrot
• (Только для США) Корпоративная программа 401(k)
• Возможность познакомиться с различными ML-стартапами, предлагающими беспрецедентные возможности для обучения и налаживания контактов.

Подайте заявку сейчас, чтобы отправиться в увлекательное путешествие по формированию будущего ИИ! Если вы мотивированный человек со страстью к машинному обучению и желанием быть частью совместной и дальновидной команды, мы будем рады вас услышать.

В Baseten мы стремимся создавать разнообразную и инклюзивную рабочую среду. Мы предоставляем равные возможности трудоустройства всем сотрудникам и кандидатам независимо от расы, цвета кожи, религии, пола, сексуальной ориентации, гендерной идентичности или самовыражения, национального происхождения, возраста, генетической информации, инвалидности или статуса ветерана.

Мы являемся работодателем с равными возможностями и будем рассматривать кандидатов с судимостью в соответствии с применимым законодательством (например, требованиями Ордонанса о справедливых шансах Сан-Франциско, где применимо).