Staff / Principal Machine Learning Engineer, Inference - UK

Заголовок: Staff / Principal Machine Learning Engineer, Inference - UK Компания: Inworld AI Местоположение: Великобритания

О Inworld

Inworld — это исследовательская лаборатория и поставщик инференса, специализирующаяся на реальном времени ИИ для потребительских приложений. Мы создаем собственные речевые модели, обслуживаем LLM и обеспечиваем инференс для модульных API, разработанных для высокопроизводительных рабочих нагрузок в реальном времени.

Сотни миллионов пользователей ежедневно взаимодействуют с приложениями на базе Inworld, и мы обрабатываем более 10 триллионов токенов LLM в месяц. Наши модели и инфраструктура поддерживают потребительские приложения в таких областях, как компаньоны, здравоохранение, фитнес, образование, медиа и многое другое. Наша работа охватывает исследования моделей, инференс в реальном времени, крупномасштабную инфраструктуру обслуживания и API, которые разработчики используют для внедрения этих возможностей в производство.

Мы привлекли более 125 миллионов долларов от Lightspeed Venture Partners, Section 32, Kleiner Perkins, венчурного фонда Microsoft M12, Founders Fund, Meta, Stanford и других. Наши технологии поддерживали опыт таких компаний, как NVIDIA, Microsoft Xbox, Niantic, Logitech Streamlabs, Wishroll, Little Umbrella и Bible Chat. Inworld также была признана CB Insights одной из 100 самых перспективных компаний в области ИИ в мире и названа одним из 10 ведущих стартапов LinkedIn в США.

Кто нам нужен

Год назад надежно работающие агентные системы и мультимодальный инференс с субсекундной задержкой в больших масштабах едва существовали. Ни у кого нет десятилетнего опыта в этой области. Поэтому мы не отбираем кандидатов по шаблону резюме — мы ищем сильных людей из разных сфер, которые быстро учатся, преуспевают в неопределенности и могут показать нам, что они создали, сломали и поняли.

Опыт, который мы считаем полезным

Вам не нужно все это. Но вам нужно достаточно, чтобы обосновать свою кандидатуру.

• Оптимизация инференса. Глубокое понимание современных фреймворков и методов обслуживания, таких как vLLM или TRT-LLM.
• Ускорение моделей. Практический опыт работы с квантованием, дистилляцией, стратегиями кэширования, непрерывной пакетной обработкой, страничным вниманием и спекулятивным декодированием.
• Высокопроизводительные системы. Опыт работы с C++, CUDA, Rust или высокооптимизированным Python. Вы знаете, как профилировать код и выжимать каждый процент производительности из GPU NVIDIA.
• Распределенные системы и масштабирование. Опыт работы с Kubernetes, Ray, пользовательской балансировкой нагрузки, инференсом на нескольких GPU/узлах и надежной обработкой тысяч одновременных соединений.
• Публичные работы. Нетривиальные проекты системного программирования, вклад в open-source основных инференсных движков или глубокие технические статьи.
• Полный цикл владения. Вы можете взять модель от исследовательской команды, контейнеризировать ее, оптимизировать ее обслуживание и обеспечить ее надежную работу в производственной среде.
• Опыт. PhD в CS, физике, математике или эквивалентный практический опыт создания бэкенд-систем или ML-систем.

Кто преуспевает здесь

• Вам не нужна дорожная карта, чтобы начать идти; вы комфортно выбираете направление и строите карту по ходу дела.
• Вы верите, что инженерия не закончена, пока она не будет выпущена и стабильна. У вас есть склонность к достижению результата, а не к чисто теоретическим оптимизациям.
• Вы не просто пишете код; вы одержимы пониманием "почему". Вы первым задаете вопросы об архитектуре, если думаете, что есть лучший способ решить основную проблему задержки или пропускной способности.
• Вас не устраивает "так сказал PM". Вы цените глубокий контекст и хотите понять фундаментальную логику каждого принимаемого нами решения.

Каково это — работать у нас

Мы ставим перед вами неясные задачи и ожидаем, что вы сделаете их ясными. Мы ценим инженеров, которые говорят "Я пока не знаю", а затем разрабатывают бенчмарк или прототип, чтобы это выяснить. Мы относимся к производительности, задержке и надежности как к первоклассным продуктовым функциям, а не как к пункту, который нужно отметить перед запуском. Влияние важнее всего, хотя мы поддерживаем обмен работой и вклад в open-source, который продвигает область вперед. Ваша работа должна быть видимой. Плоская структура, быстрые итерации, минимальный бюрократический процесс.

Базовый оклад для этой штатной должности составляет от £140 000 до £200 000. Помимо базовой оплаты, общая компенсация включает долю в компании и льготы. В пределах указанного диапазона индивидуальная оплата определяется местоположением работы, уровнем и дополнительными факторами, включая компетенции, опыт и потребности бизнеса. Диапазон базовой оплаты подлежит изменению и может быть изменен в будущем.

Кандидаты должны уже иметь законное право на работу в Соединенном Королевстве, поскольку визовая поддержка для этой должности не предоставляется. Для кандидатов, заинтересованных в переезде в район залива Сан-Франциско в будущем, может быть предоставлена полная поддержка по визе США и релокации, в зависимости от потребностей бизнеса и применимых юридических требований и требований к разрешению на работу.