Machine Learning Engineer - Inference

Название: Инженер по машинному обучению – Инференс Компания: Together AI Местоположение: Сан-Франциско

О вакансии

Together AI ищет Инженера по машинному обучению в нашу команду Inference Engine, который будет заниматься оптимизацией и повышением производительности наших систем инференса ИИ. Эта роль включает работу с передовыми большими языковыми моделями и обеспечение их эффективной и действенной работы в масштабе. Если вы увлечены инференсом ИИ, PyTorch и разработкой высокопроизводительных систем, мы хотим услышать от вас. Эта позиция предлагает возможность тесного сотрудничества с исследователями и инженерами в области ИИ для создания передовых решений в области ИИ. Присоединяйтесь к нам, чтобы формировать будущее в Together AI!

Обязанности

• Проектирование и создание производственных систем, которые обеспечивают работу инференс-движка Together AI, обеспечивая надежность и производительность в масштабе.
• Разработка и оптимизация сервисов инференса во время выполнения для крупномасштабных приложений ИИ.
• Сотрудничество с исследователями, инженерами, менеджерами по продуктам и дизайнерами для вывода на рынок новых функций и исследовательских возможностей.
• Проведение обзоров дизайна и кода для обеспечения высоких стандартов качества.
• Создание сервисов, инструментов и документации для разработчиков для поддержки инференс-движка.
• Внедрение надежных и отказоустойчивых систем для приема и обработки данных.

Требования

• Более 3 лет опыта написания высокопроизводительного, хорошо протестированного кода производственного качества.
• Владение Python и PyTorch.
• Подтвержденный опыт создания высокопроизводительных библиотек и инструментов.
• Отличное понимание низкоуровневых концепций операционных систем, включая многопоточность, управление памятью, сети, хранение данных, производительность и масштабирование.
• Предпочтительно: Знание существующих систем инференса ИИ, таких как TGI, vLLM, TensorRT-LLM, Optimum.
• Предпочтительно: Знание методов инференса ИИ, таких как спекулятивное декодирование.
• Предпочтительно: Знание программирования CUDA/Triton.
• Желательно: Знание Rust, Cython и компиляторов.

О Together AI

Together AI, AI Native Cloud, создан специально для инженеров ИИ. Разработчики ИИ-приложений получают высокопроизводительный инференс, который надежно масштабируется, тонкую настройку и обучение с подкреплением для создания специализированных моделей на уровне границ, а также предварительную тренировку в огромном масштабе для полностью настраиваемого интеллекта – и все это вокруг торговой площадки ведущих открытых моделей, которые команды могут запускать, адаптировать и владеть ими. Together, которому доверяют Cursor, Decagon, ElevenLabs, Salesforce и Zoom, обрабатывает более 400 триллионов токенов в месяц.

Вознаграждение

Мы предлагаем конкурентоспособное вознаграждение, долю в стартапе, медицинскую страховку и другие конкурентоспособные льготы. Диапазон базовой заработной платы в США для этой штатной должности составляет $200 000–$300 000 + опционы + льготы. Наши диапазоны заработной платы определяются местоположением, уровнем и должностью. Индивидуальное вознаграждение будет определяться опытом, навыками и знаниями, связанными с работой.

Равные возможности

Together AI является работодателем, предоставляющим равные возможности, и гордится тем, что предлагает равные возможности трудоустройства всем, независимо от расы, цвета кожи, происхождения, религии, пола, национальности, сексуальной ориентации, возраста, гражданства, семейного положения, инвалидности, гендерной идентичности, статуса ветерана и многого другого.

См. нашу политику конфиденциальности на