Заголовок: Старший / Ведущий инженер по машинному обучению, инференс - Сербия Компания: Inworld AI Местоположение: Сербия

О Inworld

Inworld — это исследовательская лаборатория и поставщик инференсных услуг, специализирующаяся на ИИ в реальном времени для потребительских приложений. Мы создаем собственные речевые модели, обслуживаем LLM и выполняем инференс для модульных API, разработанных для высоконагруженных рабочих процессов в реальном времени.

Ежедневно сотни миллионов пользователей взаимодействуют с приложениями на базе Inworld, и мы обрабатываем более 10 триллионов токенов LLM в месяц. Наши модели и инфраструктура поддерживают потребительские приложения в сферах компаньонов, здравоохранения, фитнеса, образования, медиа и т. д. Наша работа охватывает исследования моделей, инференс в реальном времени, крупномасштабную инфраструктуру обслуживания и API, которые разработчики используют для внедрения этих возможностей в производство.

Мы привлекли более 125 миллионов долларов от Lightspeed Venture Partners, Section 32, Kleiner Perkins, венчурного фонда Microsoft M12, Founders Fund, Meta, Stanford и других. Наша технология обеспечила работу таких компаний, как NVIDIA, Microsoft Xbox, Niantic, Logitech Streamlabs, Wishroll, Little Umbrella и Bible Chat. Inworld также была признана CB Insights одной из 100 самых перспективных ИИ-компаний в мире и названа одним из 10 лучших стартапов LinkedIn в США.

Кого мы ищем

Год назад надежные агентские системы и мультимодальный инференс с временем ответа менее секунды в больших масштабах почти не существовали. Ни у кого нет десятилетнего опыта в этой области. Поэтому мы не отбираем кандидатов по шаблону резюме — мы ищем сильных людей из разных областей, которые быстро учатся, преуспевают в условиях неопределенности и могут показать нам, что они создали, сломали и поняли.

Опыт, который мы считаем полезным

Вам не нужно все это. Но вам нужно достаточно, чтобы аргументировать свою кандидатуру.

• Оптимизация инференса. Глубокое понимание современных фреймворков и методов обслуживания, таких как vLLM или TRT-LLM.
• Ускорение моделей. Практический опыт квантования, дистилляции, стратегий кэширования, непрерывной пакетной обработки, постраничного внимания (paged attention) и спекулятивного декодирования.
• Высокопроизводительные системы. Владение C++, CUDA, Rust или высокооптимизированным Python. Вы знаете, как профилировать код и выжать максимум производительности из GPU NVIDIA.
• Распределенные системы и масштабирование. Опыт работы с Kubernetes, Ray, пользовательской балансировкой нагрузки, инференсом на нескольких GPU/узлах и надежной обработкой тысяч одновременных соединений.
• Публичные работы. Нетривиальные проекты системного программирования, вклад в open-source основные движки инференса или глубокие технические статьи.
• Полный цикл владения. Вы можете взять модель от команды исследований, контейнеризировать ее, оптимизировать ее обслуживание и обеспечить ее надежную работу в производственной среде.
• Образование. PhD в области CS, физики, математики или эквивалентный практический опыт создания бэкенд- или ML-систем.
• Профессиональное владение английским языком (письменным и устным) обязательно, так как вы будете ежедневно сотрудничать с нашим руководством и инженерными командами, базирующимися в США.

Кому здесь будет комфортно

• Вам не нужна дорожная карта, чтобы начать двигаться; вы чувствуете себя комфортно, выбирая направление и строя карту по ходу движения.
• Вы верите, что инженерия не закончена, пока не выпущена и не стала стабильной. Вы отдаете предпочтение влиянию, а не чисто теоретическим оптимизациям.
• Вы не просто пишете код; вы одержимы поиском ответа на вопрос «почему». Вы первым ставите под сомнение архитектуру, если считаете, что есть лучший способ решить основную проблему задержки или пропускной способности.
• Вас не устраивает ответ «так сказал менеджер по продукту». Вы цените глубокий контекст и хотите понять фундаментальную логику каждого принимаемого нами решения.

Каково работать здесь

Мы ставим перед вами неясные проблемы и ожидаем, что вы их проясните. Мы ценим инженеров, которые говорят «я пока не знаю», а затем разрабатывают бенчмарк или прототип, чтобы это выяснить. Мы относимся к производительности, задержке и надежности как к первоклассным функциям продукта, а не как к галочке перед запуском. Влияние важнее всего, хотя мы поддерживаем обмен работой и вклад в open-source, которые продвигают область вперед. Ваша работа должна быть заметной. Плоская структура, быстрые итерации, минимум бюрократии.

Кандидатам, заинтересованным в переезде в район залива Сан-Франциско в будущем, может быть предложена полная поддержка в получении визы США и помощь в переезде, в зависимости от потребностей бизнеса и применимых требований к юридическому разрешению на работу.

Конфиденциальность вакансий Inworld