Инженер по инференсу

Присоединяйтесь к небольшой команде опытных специалистов, создающей полный стек для работы на устройстве с целью достижения локального интеллекта в реальном времени.

Роль

Мы ищем инженеров, которые помогут нам создавать программное обеспечение, позволяющее современным LLM эффективно работать на устройстве. Вы будете в основном работать над uzu, нашим движком инференса.

• Реализация новых архитектур моделей,
• Оптимизация ядер,
• Поддержка новых модальностей,
• Добавление новых бэкэндов,
• Создание широкого спектра функций, таких как KV cache paging и continuous batching.

Мы — передовая лаборатория AI на устройстве.

Мы создаем модели, среду выполнения инференса и стек квантизации. Исходя из ограничений устройства. Чтобы AI мог работать на полную мощность на оборудовании, которым уже пользуются миллиарды людей. Наш стек охватывает все: от низкоуровневых GPU-ядер до высокоуровневых инструментов конвертации моделей. Мы — небольшая команда, одержимая производительностью, работающая на стыке системного программирования и исследований в области машинного обучения.

Мы призываем вас подать заявку, если:

Вы глубоко понимаете хотя бы одно из следующих направлений:

• Как работают компьютеры.
• Как работают современные языковые модели.

И у вас есть опыт хотя бы в одном из следующих направлений:

• Написание высокопроизводительных GPU-ядер.
• Системное программирование на Rust.
• Реализация архитектур LLM вне высокоуровневых фреймворков.
• Качественный вклад в open source.

Мы приветствуем заявки от талантливых студентов и инженеров на раннем этапе карьеры.

Почему мы?

Основана опытными предпринимателями, которые создали и масштабировали ведущие потребительские AI-продукты, такие как Reface (300 млн пользователей, пионер в области генеративного AI для фото/видео) и Prisma (100 млн MAU, пионер в области улучшения фото на устройстве с помощью AI).

Наша команда небольшая (16 человек), состоит из опытных специалистов и глубоко разбирается в технической стороне. Мы быстро выпускаем продукты и отвечаем за проблемы от начала до конца. Нас консультирует бывший Apple Distinguished Engineer, работавший над MLX, а нашу деятельность поддерживают ведущие фонды и частные инвесторы, специализирующиеся на AI.