Staff / Senior Staff Machine Learning Engineer, Inference - USA

Должность: Инженер по машинному обучению (Staff / Senior Staff), Inference - США Компания: Inworld AI Местоположение: Маунтин-Вью, Калифорния, США / Гибридный формат

О Inworld

Inworld — это исследовательская лаборатория и поставщик услуг инференса, специализирующаяся на ИИ в реальном времени для потребительских приложений. Мы создаем собственные речевые модели, обслуживаем LLM и управляем инференсом за модульными API, разработанными для высокообъемных нагрузок в реальном времени.

Ежедневно сотни миллионов пользователей взаимодействуют с приложениями на базе Inworld, и мы обрабатываем более 10 триллионов токенов LLM в месяц. Наши модели и инфраструктура поддерживают потребительские приложения в таких областях, как компаньоны, здравоохранение, фитнес, образование, медиа и многое другое. Наша работа охватывает исследования моделей, инференс в реальном времени, масштабируемую инфраструктуру обслуживания и API, которые разработчики используют для внедрения этих возможностей в производство.

Мы привлекли более 125 миллионов долларов от Lightspeed Venture Partners, Section 32, Kleiner Perkins, венчурного фонда Microsoft M12, Founders Fund, Meta, Stanford и других. Наши технологии лежали в основе решений таких компаний, как NVIDIA, Microsoft Xbox, Niantic, Logitech Streamlabs, Wishroll, Little Umbrella и Bible Chat. Inworld также была признана CB Insights одной из 100 самых перспективных компаний в области ИИ в мире и названа одним из 10 ведущих стартапов LinkedIn в США.

Кого мы ищем

Год назад надежно работающие агентские системы и мультимодальный инференс менее чем за секунду в большом масштабе почти не существовали. Ни у кого нет десятилетнего опыта в этой области. Поэтому мы не отбираем кандидатов по шаблону резюме — мы ищем сильных людей из разных областей, которые быстро учатся, преуспевают в условиях неопределенности и могут показать нам, что они создали, сломали и поняли.

Опыт, который мы считаем полезным

Вам не обязательно иметь все это. Но вам нужно достаточно, чтобы аргументировать свою кандидатуру.

• Оптимизация инференса. Глубокое понимание современных фреймворков и методов обслуживания, таких как vLLM или TRT-LLM.
• Ускорение моделей. Практический опыт в области квантования, дистилляции, стратегий кэширования, непрерывной пакетной обработки, страничного внимания (paged attention), спекулятивного декодирования (speculative decoding).
• Высокопроизводительные системы. Владение C++, CUDA, Rust или высокооптимизированным Python. Вы знаете, как профилировать код и выжимать максимум производительности из NVIDIA GPU.
• Распределенные системы и масштабирование. Опыт работы с Kubernetes, Ray, пользовательской балансировкой нагрузки, мульти-GPU/мульти-узелным инференсом и надежной обработкой тысяч одновременных соединений.
• Публичные работы. Нетривиальные проекты системного программирования, вклад в open-source основных инференс-движков или глубокие технические статьи.
• Полный цикл владения. Вы можете взять модель из исследовательской команды, контейнеризировать ее, оптимизировать ее обслуживание и обеспечить ее надежную работу в production.
• Образование. PhD в области Computer Science, физики, математики или эквивалентный практический опыт создания бэкенд- или ML-систем.

Кто у нас преуспевает

• Вам не нужна дорожная карта, чтобы начать действовать; вы комфортно выбираете направление и строите карту по ходу дела.
• Вы считаете, что инженерия не закончена, пока продукт не выпущен и стабилен. Вы отдаете предпочтение реальному влиянию, а не чисто теоретическим оптимизациям.
• Вы не просто пишете код; вы одержимы пониманием «почему». Вы первый поставите под сомнение архитектуру, если считаете, что есть лучший способ решить основную проблему задержки или пропускной способности.
• Вас не устраивает «так сказал PM». Вы процветаете благодаря глубокому контексту и хотите понять фундаментальную логику каждого нашего решения.

Каково работать у нас

Мы ставим перед вами неясные задачи и ожидаем, что вы их проясните. Мы ценим инженеров, которые говорят «Я еще не знаю» и затем разрабатывают бенчмарк или прототип, чтобы выяснить это. Мы рассматриваем производительность, задержку и надежность как первоклассные продуктовые особенности, а не как галочку перед запуском. Влияние важнее всего, хотя мы поддерживаем обмен наработками и вклад в open-source, которые продвигают область вперед. Ваша работа должна быть заметной. Плоская структура, быстрые итерации, минимальное бюрократическое оформление.

Мы верим в силу личного сотрудничества для решения самых сложных задач и укрепления сильной командной культуры. Мы предлагаем помощь с релокацией и будем рады вашему присоединению к нам в нашем офисе в Маунтин-Вью.

Базовая зарплата для этой полной ставки составляет $270 000 - $430 000 + бонус + акции + льготы.