Model Serving Engineer

Fundamental — это лаборатория исследований в области ИИ, которая открывает будущее принятия решений в корпоративном секторе. Наша флагманская модель NEXUS — самая мощная в мире большая табличная модель (Large Tabular Model, LTM), специально разработанная для структурированных данных, содержащих триллионы долларов бизнес-ценности. При поддержке финансирования в размере 275 млн долларов от ведущих инвесторов и доверии со стороны компаний из списка Fortune 100, Fundamental дает бизнесу Возможность Прогнозировать.

В Fundamental вы будете решать беспрецедентные технические задачи в области разработки фундаментальных моделей и создавать технологии, которые трансформируют процесс принятия решений крупнейшими компаниями мира. Это ваша возможность с самого начала стать частью компании, определяющей целую категорию. Присоединяйтесь к команде, которая определяет будущее корпоративного ИИ.

Наша команда обслуживания моделей отвечает за превращение NEXUS, нашей большой табличной модели, в надежную и масштабируемую производственную систему. Мы управляем инфраструктурой и стеком выполнения, который обслуживает модель в различных средах развертывания, каждая из которых имеет разные требования к масштабу, изоляции, производительности и доверию.

Команда находится на стыке исследований и производственной инженерии. Мы тесно сотрудничаем с исследователями, чтобы внедрять новые архитектуры моделей в производство, одновременно создавая системы, необходимые для их эффективной и предсказуемой работы при реальных нагрузках. Табличные фундаментальные модели представляют собой задачи обслуживания, которые существенно отличаются от традиционного инференса LLM, включая нерегулярное вычислительное поведение и сложные компромиссы ресурсов между CPU, GPU, памятью и сетью.

В качестве инженера по обслуживанию моделей вы будете работать над полным стеком инференса — от производительности среды выполнения Python и поведения при параллельном выполнении до распределенной оркестрации, инфраструктуры обслуживания GPU и архитектуры развертывания. Вы будете выявлять узкие места, повышать пропускную способность и сокращать задержки, а также помогать определять, как новые поколения моделей преобразуются из исследовательских артефактов в системы производственного уровня.

Это глубоко техническая роль с акцентом на Python для инженеров, которым нравятся распределенные системы, оптимизация производительности и низкоуровневые инфраструктурные задачи, связанные с современными ML-системами.

• Культура, ориентированная на миссию, с низким уровнем эго, ценящая разнообразие мнений, ответственность и стремление к действию

• Оптимизация кода инференса Python для повышения производительности при реальных ограничениях параллельного выполнения, включая конфликты GIL, многопоточность, многопроцессность, асинхронное выполнение и длительные производственные нагрузки
• Тесное сотрудничество с исследовательскими группами для понимания внутренних механизмов модели и поддержки постоянной эволюции архитектуры, особенно в отношении сложного и неочевидного вычислительного поведения при производственной нагрузке
• Сотрудничество с исследовательскими группами и группами инфраструктуры для анализа использования аппаратных ресурсов и компромиссов при обслуживании между GPU, CPU, памятью, сетью, пакетной обработкой и параллельным выполнением
• Определение и развитие архитектуры нашего стека распределенного инференса и асинхронного выполнения, включая оркестрацию, координацию рабочих процессов и сквозные шаблоны параллельного выполнения
• Ответственность за слой обслуживания Triton для NEXUS, включая упаковку, настройку и выполнение моделей в рамках нашего производственного конвейера инференса
• Создание инструментов наблюдаемости и производительности для всего стека обслуживания, использование метрик производства для принятия решений по настройке производительности, пропускной способности и эффективности использования ресурсов
• Решение сквозных проблем обслуживания, возникающих при развертывании одной и той же модели в средах с очень разными ограничениями масштаба, изоляции и надежности
• Оценка и интеграция новых сред выполнения инференса, стратегий обслуживания и инфраструктурных подходов по мере развития экосистемы моделей

• Степень бакалавра или магистра в области компьютерных наук, инженерии или смежной области (или эквивалентный практический опыт)
• Опыт работы в области обслуживания моделей, ML-инфраструктуры или тесно связанной области бэкенд-инженерии от 5 лет
• Глубокие знания в области параллельного выполнения Python, включая поведение GIL, многопоточность, потокобезопасность, многопроцессность
• Опыт создания асинхронных систем на основе сообщений
• Высокопроизводительные, крупномасштабные распределенные системы
• Способность читать и анализировать реализации ML-моделей на вычислительном уровне, включая вычислительное поведение, пакетную обработку, использование памяти и характеристики инференса
• Опыт профилирования и оптимизации производительности CPU, памяти, I/O и, желательно, GPU-нагрузок, а также преобразования полученных данных в архитектурные улучшения

• Конкурентоспособная компенсация, включающая зарплату и опционы (equity)
• Комплексное медицинское страхование для вас и ваших иждивенцев
• Оплачиваемый отпуск по уходу за ребенком для всех новых родителей, включая усыновление и суррогатное материнство
• Релокационная поддержка для сотрудников, переезжающих для присоединения к команде в одном из наших офисов