Research Engineer - Evals

THINK DIFFERENT. BUILD THE FUTURE. 🚀

НАША МИССИЯ

Создание повседневного ИИ общего назначения. Надежные, потребительские агенты, которые переосмысливают совместную работу человека и ИИ для миллионов. Программное обеспечение не должно ждать команд; оно должно быть вашим партнером, расширяя ваши возможности каждый день.

ПОЧЕМУ AGI, INC.

Мы — скрытая команда элитных основателей и исследователей ИИ из Стэнфорда, OpenAI и DeepMind. Мы — лидеры отрасли в области мобильных агентов и агентов для использования компьютера, выводя эти возможности на потребительский уровень.

Наш ИИ, основанный на многолетних исследованиях в области агентов, разработан с упором на надежность и доверие, а не как второстепенная задача.

Нас поддерживают инвесторы высшего уровня, которые финансировали первое поколение гигантов ИИ; теперь они поддерживают нас в создании следующего: повседневного ИИ общего назначения. (Посмотрите демо)

Если вы видите возможности там, где другие видят пределы, читайте дальше.

Вы решаете, что означает «лучше».

Модели, агенты и функции продукта выпускаются за один вопрос: стало ли это действительно лучше? Без сильной функции оценки лаборатория выпускает «вибрации». С ней каждый цикл обучения, каждое изменение запроса, каждая возможность агента сдвигает число, которому мы доверяем — и команда принимает решения на основе реального сигнала, а не самого громкого мнения в комнате.

Вы создадите инструментарий оценки для AGI — по возможностям модели, поведению агента, производительности на устройстве и пользовательскому опыту. Вы установите планку того, что считается «выпущенным», и защитите ее от гравитации сроков продукта.

• Наборы оценок, которые контролируют каждый выпуск модели и агента — возможности, поведение, регрессии и человеческие рейтинговые рубрики, которые улавливают то, что упускают автоматические оценки
• Панели мониторинга и инструменты, которые ускоряют циклы экспериментов исследователей и облегчают принятие решений руководством
• Планка — что считается готовым к выпуску и как мы это знаем

🤚 ОБЛАСТИ, В КОТОРЫХ ВЫ БУДЕТЕ ПОМОГАТЬ

• Исследования, гарантируя, что мы измеряем то, что хотим
• Инженеры продукта, путем инструментирования поведения реальных пользователей на реальных устройствах
• Партнерства, путем перевода «стало ли лучше» на язык, которому может соответствовать OEM-партнер

Через 30 дней — вы проверили все проводимые нами оценки и подготовили подробный документ о том, что хорошо, что является шумом, а что отсутствует. Вы исправили самый вопиющий пробел.

Через 60 дней — вы создали новую поверхность оценки — агента, на устройстве или поведенческую — и команда принимает реальные решения на основе ее результатов. Исследователи приходят к вам до запуска, а не после.

Через 90 дней — выпуски теперь осуществляются на основе вашей планки оценки, а не «проверки настроения». Вы обнаружили регрессию, которая должна была быть выпущена, и добились запуска, по поводу которого команда нервничала. Вы формируете дорожную карту исследований, показывая, где мы топчемся на месте, где мы поднимаемся, и где мы обманываем себя.

• Как измерять недетерминированные системы — оценка агентов, использование инструментов, долгосрочные задачи, многоязычное поведение
• Как возражать против метрики, которая используется не по назначению, не нарушая работу команды

🧑‍🎓 НАВЫКИ, КОТОРЫМ ВЫ БУДЕТЕ ОБУЧАТЬСЯ

• Компромиссы производительности на устройстве и как они проявляются в оценках реальных пользователей
• Как на самом деле выглядит QA ИИ в масштабе OEM
• Реалии выпуска потребительских агентов партнерам по производству

Конкурентоспособная зарплата и значительный пакет акций. Поддержка на высшем уровне по релокации и иммиграции. Сан-Франциско, очно.