RocketHuntУмный поиск работы
Together AI
Сан-Франциско, Соединенные Штаты6 месяцев назад
270 000 – 300 000 USD
в год
Должность: Инженер по развертыванию, стратегический вывод Компания: Together AI Местоположение: Сан-Франциско
В качестве инженера по развертыванию (FDE), специализирующегося на выводе (inference), вы будете тесно сотрудничать с нашими самыми стратегическими клиентами — командами по разработке ИИ, стремящимися использовать высококачественные модели и масштабировать вывод. Для нас FDE — это не замена архитектора решений; вы будете работать с нашими архитекторами решений в качестве глубокого специалиста по оптимизации вывода, конвейерам тонкой настройки и развертыванию в производственной среде. Являясь ключевыми участниками как отделов по работе с клиентами, так и инженерного отдела и отдела продаж, FDE приносят огромную пользу, обеспечивая соответствие нашим требованиям к самым сложным пилотным проектам (POC), способствуя успешному внедрению платформы и направляя индивидуальные усилия по оптимизации — напрямую влияя на успех клиентов, рост компании и укрепление нашей основной платформы.
Выбирать, настраивать и оптимизировать механизм вывода на основе профиля аппаратного обеспечения, архитектуры модели и рабочей нагрузки.
Разрабатывать обновления конфигурации для успешного прохождения критически важных пилотных проектов (POC), тестов и оптимизации развертываний клиентов; настраивать KV cache, применять спекулятивное декодирование, определять оптимальный тензорный параллелизм и стратегию квантования для достижения целевых показателей пропускной способности и задержки.
Выступать в качестве основного технического контактного лица для стратегических учетных записей — мониторинг и оптимизация конфигураций конечных точек, помощь клиентам в максимальном использовании платформы и сотрудничество для обеспечения достижения критически важных этапов.
Налаживать прямое взаимодействие со стратегическими клиентами на этапе внедрения; обеспечить правильную конфигурацию вывода с первого дня для сокращения времени окупаемости.
Напрямую влиять на нашу дорожную карту программного обеспечения и моделей, получая информацию из поля. При необходимости вносить вклад в продукт для поддержки требований клиентов или улучшения пользовательского опыта. Способствовать раннему внедрению новых функций и исследований у стратегических клиентов.
Более 5 лет работы на технической должности с сильным акцентом на оптимизацию систем. Недавний опыт работы с системами вывода и развертыванием LLM с открытым исходным кодом.
Экспертный практический опыт работы с механизмами вывода (например, vLLM, TensorRT-LLM, SGLang); способность диагностировать и устранять проблемы производительности на уровне механизма.
Глубокие знания в области настройки KV cache, спекулятивного декодирования, тензорного параллелизма, параллелизма конвейера и методов квантования.
Широкие знания современных моделей с открытым исходным кодом и сильное понимание выбора моделей для конкретных сценариев использования клиентов, профилей аппаратного обеспечения и целевых показателей производительности.
Хорошие навыки работы с Python; уверенность в работе в производственной среде.
Опыт руководства сложными проектами с исключительными навыками управления проектами и коммуникации.
Together AI, AI Native Cloud, создана специально для инженеров ИИ. Разработчики приложений ИИ получают высокопроизводительный вывод, который надежно масштабируется, возможности тонкой настройки и обучения с подкреплением для создания передовых специализированных моделей, а также предварительное обучение в огромных масштабах для полностью индивидуального интеллекта — все это в рамках рынка ведущих открытых моделей, которые команды могут запускать, адаптировать и которыми владеть. Together, которому доверяют Cursor, Decagon, ElevenLabs, Salesforce и Zoom, обрабатывает более 400 триллионов токенов в месяц.
Мы предлагаем конкурентоспособную компенсацию, акции стартапа, медицинскую страховку и другие льготы, а также гибкость в отношении удаленной работы. Диапазон базовой заработной платы в США для этой штатной должности составляет: $270,000 - $300,000 OTE + акции + льготы. Наши диапазоны заработной платы определяются местоположением, уровнем и должностью. Индивидуальная компенсация будет определяться опытом, навыками и знаниями, связанными с работой.
Together AI является работодателем, предоставляющим равные возможности, и гордится тем, что предоставляет равные возможности трудоустройства каждому, независимо от расы, цвета кожи, происхождения, религии, пола, национальности, сексуальной ориентации, возраста, гражданства, семейного положения, инвалидности, гендерной идентичности, статуса ветерана и многого другого.
Пожалуйста, ознакомьтесь с нашей Политикой конфиденциальности по адресу
Оценка RocketHunt по реальным зарплатам
Грейд
Senior
Опыт работы
от 5 лет
Формат работы
Удаленно
Тип занятости
Полная занятость
Уровень английского
B2 - Выше среднего
ИИ напишет его по твоему резюме, останется только отправить
