Ведущий ML-инженер – LLM Inference & NLP

Мы ищем ведущего ML-инженера – LLM Inference & NLP.

Ваши основные задачи будут включать:

• Ускорение и масштабирование LLM inference в продакшене: SGLang, KV и префиксный кэшинг, батчинг, квантизация, спекулятивное декодирование
• Запуск распределенного инференса для очень больших моделей (до 1 трлн+ параметров) в мульти-GPU и мульти-нодовых конфигурациях
• Бенчмаркинг новых GPU-серверов и оборудования, внедрение их в продакшен и адаптация нашего кода под них
• Техническое руководство командами NLP и CV: ревью экспериментов, определение направлений развития и раннее вмешательство, если что-то идет не так
• Обучение и дообучение языковых моделей, а также улучшение агентских пайплайнов и чат-алгоритмов, которые на них работают
• Отслеживание передовых исследований и open-source разработок в области инференса и пост-тренировки, и включение их в ML-дорожную карту
• Тесное сотрудничество с командами валидации, контента и подготовки данных для проектирования экспериментов и измерения качества моделей

Мы ожидаем от вас:

• Глубокий практический опыт оптимизации LLM inference в продакшене с использованием SGLang, vLLM или TensorRT-LLM
• Опыт распределенного инференса или обучения больших моделей: MoE, тензорный/экспертный/конвейерный параллелизм, мульти-нодовые GPU-кластеры
• Глубокое понимание того, что делает инференс быстрым: KV-кэширование, ядра внимания, батчинг, квантизация, GPU-профилирование
• Опыт обучения и дообучения LLM, включая пост-тренировку (RLHF, DPO или аналогичные методы)
• Подтвержденное техническое лидерство: вы руководили инженерами через ревью, менторство и принятие технических решений, при этом продолжая писать код самостоятельно
• Владение PyTorch, transformers и сопутствующими библиотеками
• Опыт работы в AI-стартапах или компаниях (Character AI, OpenAI и аналогичные — большой плюс)
• Опыт бэкенд-разработки (Python, Go, C#) и знание масштабируемых систем развертывания являются существенным преимуществом
• Продвинутый английский или русский язык

Приветствуется:

• Разработка CUDA или Triton ядер
• Опыт в области компьютерного зрения. Мы также приветствуем сильных CV-лидов, которые ускоряли большие генеративные модели изображений или видео
• Опыт работы с мультимодальными LLM
• Публикации в качестве первого автора или заметные open-source работы, например, вклад в SGLang, vLLM или библиотеки для пост-тренировки
• Степень в области CS, математики или физики от сильной программы (MSc или PhD)

Что мы предлагаем:

• Удаленная возможность работать на условиях полной занятости;
• Начальный уровень оплаты или диапазон оплаты по этой должности будет сообщен кандидатам в процессе подбора и до начала трудоустройства;
• Отпуск 28 календарных дней в год;
• 7 дней здоровья в год (выходные), которые можно использовать для решения бытовых вопросов, отдыха и восстановления без оформления больничного;
• Бонусы до $5000 за рекомендацию успешных кандидатов на позиции в компании;
• 50% оплата профессионального обучения, международных конференций и встреч;
• Корпоративная скидка на уроки английского языка;
• Медицинские льготы. Согласно платежным ведомостям, если вы не имеете права на корпоративную медицинскую страховку, компания компенсирует вам до $1000 брутто в год на сотрудника. Эти средства могут быть потрачены на самостоятельную покупку медицинской страховки или на оплату услуг врачей для вас и близких родственников (супруг(а), дети);
• Организация рабочего места. Компания предоставляет всем сотрудникам оборудованное рабочее место и всю необходимую технику (стол, кресло, Wi-Fi и т.д.) в наших офисах или коворкингах. В других локациях компания предоставляет возмещение расходов на рабочее место до $1000 брутто раз в 3 года, согласно платежным ведомостям. Эти средства могут быть потрачены на аренду коворкинга, на обустройство рабочего места дома (стол, стул, интернет и т.д.) в течение этих 3 лет;
• Внутренняя геймифицированная система благодарностей: получайте бонусы от коллег и обменивайте их на наши фирменные товары, мероприятия по тимбилдингу, сертификаты на массаж и т.д.

Опубликовано: 10/4/2026