Research Scientist, Video Foundation Models

Cantina Labs — это компания, занимающаяся социальным ИИ, разрабатывающая набор передовых моделей реального времени, которые расширяют границы выражения, личности и реализма. Мы оживляем персонажей, меняя то, как люди рассказывают истории, общаются и творят. Мы создаем и поддерживаем экосистемы. Cantina, наша флагманская платформа социального ИИ, — это только начало.

Если вас привлекает потенциал ИИ в формировании человеческого творчества и социального взаимодействия, присоединяйтесь к нам в создании будущего!

О роли:

Мы формируем основную команду для разработки нативных видео- и омниканальных фреймворк-моделей нового поколения для мультимодальной генерации и понимания. Наш текущий фокус — разработка крупномасштабных видеофреймворк-моделей, охватывающая предварительное обучение, дообучение и постобучение для высококачественной, управляемой, последовательной и эффективной генерации. Наша более широкая дорожная карта включает генерацию на основе референсов и памяти, мультимодальное понимание и взаимодействие, а также совместную аудио-видео генерацию.

В этой роли вы будете заниматься фундаментальными исследованиями и разработкой крупномасштабных моделей на протяжении всего жизненного цикла модели, включая архитектуру, данные, обучение, оценку, постобучение, системы обучения и эффективный инференс. У вас будет возможность формировать как техническое направление, так и команду с ранней стадии.

• Исследовать, разрабатывать и масштабировать нативные видео- и мультимодальные фреймворк-модели, от ранних прототипов до крупномасштабного предварительного обучения, дообучения и постобучения

• Изучать новые архитектуры моделей, цели обучения и механизмы кондиционирования для видеогенерации, генерации на основе референсов и памяти, мультимодального взаимодействия и совместной аудио-видео генерации

• Создавать и улучшать крупномасштабные конвейеры для курирования данных, распределенного обучения, оценки и постобучения для высококачественной и управляемой генерации

• Проектировать систематические эксперименты для понимания масштабирования моделей, качества генерации, управляемости, последовательности, робастности и эффективности инференса

• Тесно сотрудничать с исследователями, инженерами и продуктовыми командами, чтобы помочь формировать техническую дорожную карту и, при необходимости, переводить достижения моделей в реальные возможности

• При необходимости вносить вклад в исследовательские публикации и релизы с открытым исходным кодом

• Богатый исследовательский и инженерный опыт в области генеративного моделирования, включая такие области, как диффузионные модели, flow matching, DiT, видеогенерация, мультимодальные модели, world models или смежные области

• Практический опыт обучения и оценки крупномасштабных моделей изображений, видео или унифицированных мультимодальных моделей с использованием современных фреймворков глубокого обучения и систем распределенного обучения

• Значительный послужной список разработки влиятельных моделей или систем, подтвержденный исследовательскими публикациями, вкладом в открытый исходный код, производственным эффектом или другой значительной технической работой

• Способность самостоятельно решать неоднозначные исследовательские задачи, эффективно переходить от идей к экспериментам и хорошо работать в высококоллаборативной среде

• Специализированная глубина знаний в одной или нескольких областях жизненного цикла фреймворк-модели, таких как архитектура модели, курирование данных, управляемая генерация, мультимодальное понимание и кондиционирование, постобучение и моделирование вознаграждения, ускорение моделей, системы инференса или развертывание

Ожидаемый годовой диапазон базовой заработной платы для этой должности составляет от $200 000 до $320 000. При определении компенсации будет учитываться ряд факторов, включая навыки, опыт, объем работы, местоположение и рыночные данные о конкурентоспособной компенсации.

• Конкурентоспособная заработная плата и щедрые опционы компании

• Медицинская, стоматологическая и офтальмологическая страховка – 99,99% страховых взносов покрывается Cantina

• 42 дня оплачиваемого отпуска, включая:

  • 15 дней PTO
  • 10 дней больничного
  • 15 праздничных дней компании
  • 2 плавающих праздничных дня

• Щедрый отпуск по уходу за ребенком и поддержка репродуктивного здоровья

• Пенсионный накопительный план 401(k)

• Счет для расходов на образ жизни – $500/месяц, которые можно использовать по своему усмотрению

• Бесплатные обеды и закуски для сотрудников в офисе

• Членство в One Medical и многое другое!