Senior Machine Learning Engineer, Inference - USA

Название: Senior Machine Learning Engineer, Inference - USA Компания: Inworld AI Местоположение: Маунтин-Вью, Калифорния, США

О Inworld

Inworld — это исследовательская лаборатория и поставщик инференс-сервисов, специализирующаяся на искусственном интеллекте в реальном времени для потребительских приложений. Мы разрабатываем собственные речевые модели, обслуживаем LLM и обеспечиваем инференс для модульных API, разработанных для высоконагруженных сценариев в реальном времени.

Ежедневно сотни миллионов пользователей взаимодействуют с приложениями на базе Inworld, и мы обрабатываем более 10 триллионов токенов LLM в месяц. Наши модели и инфраструктура поддерживают потребительские приложения в сферах компаньонов, здравоохранения, фитнеса, образования, медиа и др. Наша работа охватывает исследования моделей, инференс в реальном времени, крупномасштабную инфраструктуру обслуживания и API, которые разработчики используют для внедрения этих возможностей в продакшн.

Мы привлекли более 125 миллионов долларов от Lightspeed Venture Partners, Section 32, Kleiner Perkins, венчурного фонда Microsoft M12, Founders Fund, Meta, Stanford и других. Наша технология использовалась в продуктах таких компаний, как NVIDIA, Microsoft Xbox, Niantic, Logitech Streamlabs, Wishroll, Little Umbrella и Bible Chat. Inworld также был признан CB Insights одной из 100 самых перспективных AI-компаний в мире и вошел в топ-10 стартапов LinkedIn в США.

Кого мы ищем

Год назад надежно работающие агентные системы и мультимодальный инференс менее чем за секунду в больших масштабах едва существовали. Ни у кого нет десятилетнего опыта в этой области. Поэтому мы не отбираем кандидатов по шаблону резюме — мы ищем сильных людей с разным опытом, которые быстро учатся, преуспевают в неопределенности и могут показать нам, что они создали, сломали и поняли.

Полезный опыт

Вам не нужно иметь все это. Но нужно достаточно, чтобы аргументировать свою кандидатуру.

• Оптимизация инференса. Глубокое понимание современных фреймворков и техник обслуживания, таких как vLLM или TRT-LLM.
• Ускорение моделей. Практический опыт в квантовании, дистилляции, стратегиях кэширования, непрерывной пакетной обработке (continuous batching), страничном внимании (paged attention) и спекулятивном декодировании (speculative decoding).
• Высокопроизводительные системы. Владение C++, CUDA, Rust или высокооптимизированным Python. Вы знаете, как профилировать код и выжать максимум производительности из NVIDIA GPU.
• Распределенные системы и масштабирование. Опыт работы с Kubernetes, Ray, пользовательской балансировкой нагрузки, многопроцессорным/многоузловым инференсом и надежной обработкой тысяч одновременных соединений.
• Публичные работы. Нетривиальные проекты системного программирования, вклад в open-source крупные инференс-движки или глубокие технические статьи.
• Полный цикл владения. Вы можете взять модель от команды исследователей, контейнеризировать ее, оптимизировать ее обслуживание и обеспечить ее надежную работу в продакшене.
• Образование. PhD в области CS, физики, математики или соответствующий практический опыт создания бэкенд-систем или ML-систем.

Кто преуспевает здесь

• Вам не нужна дорожная карта, чтобы начать двигаться; вы комфортно выбираете направление и строите карту по ходу движения.
• Вы считаете, что инжиниринг не закончен, пока он не выпущен и стабилен. Вы предпочитаете оказывать влияние, а не заниматься чисто теоретическими оптимизациями.
• Вы не просто пишете код; вы одержимы пониманием «почему». Вы первым ставите под сомнение архитектуру, если думаете, что есть лучший способ решить основную проблему задержки или пропускной способности.
• Вас не устраивает «так сказал PM». Вы цените глубокий контекст и хотите понять фундаментальную логику каждого принимаемого нами решения.

Каково работать здесь

Мы ставим перед вами неясные задачи и ожидаем, что вы их проясните. Мы ценим инженеров, которые говорят «Я пока не знаю» и затем разрабатывают бенчмарк или прототип, чтобы это выяснить. Мы относимся к производительности, задержкам и надежности как к первоклассным функциям продукта, а не как к пункту, который нужно отметить перед запуском. Влияние важнее всего, хотя мы поддерживаем обмен работой и открытые вклады, которые продвигают область вперед. Ваша работа должна быть заметной. Плоская структура, быстрые итерации, минимум бюрократии.

Мы верим в силу очного сотрудничества для решения самых сложных задач и формирования сильной командной культуры. Мы предлагаем помощь при переезде и ждем вас в нашем офисе в Маунтин-Вью.

Базовый диапазон заработной платы для этой штатной должности составляет 250 000 - 300 000 долларов США + бонус + акции + льготы.