Research Engineer, Benchmarks

Миссия HUD — создание надежной, справедливой и открытой инфраструктуры для данных ИИ. Мы хотим, чтобы данные были ценными для людей, которые их создают, и вызывали доверие у лабораторий, которые на них обучаются. Наша команда — это быстрорастущая группа исследователей, инженеров и операторов, создающая экономику, которая формирует будущее ИИ. При поддержке 16 млн долларов от ведущих венчурных фондов и YC (W25), наш маркетплейс и платформа используются стартапами, компаниями из списка Fortune 500 и передовыми лабораториями.

Мы ищем инженеров-исследователей для создания высококачественных бенчмарков для оценки передовых агентов в предметно-ориентированных задачах. Вы будете создавать бенчмарки, которые технически строги, практически полезны и заслуживают доверия со стороны передовых лабораторий.

• Отвечать за проектирование, реализацию и качество внутренних бенчмарков агентов HUD
• Работать с экспертами в предметной области для определения задач и создания предметно-ориентированных бенчмарков, которые оценивают агентов на реалистичных рабочих процессах
• Создавать инфраструктуру для надежного запуска моделей и агентов в рамках задач бенчмаркинга
• Разрабатывать метрики и аналитику для понимания сложности, надежности и режимов сбоев бенчмарков
• Проверять, коррелирует ли производительность бенчмарка с оценками в реальном мире, потребностями клиентов и ожиданиями лабораторий
• Писать понятную документацию и отчеты по бенчмаркам, которые делают результаты понятными и заслуживающими доверия для технической аудитории

ОПЫТ

Вы можете нам подойти, если у вас есть:

• Уверенное владение Python, Docker и в среде Linux
• Опубликованные статьи или написанные технические блоги по релевантным темам, таким как публичные бенчмарки и их ограничения, режимы сбоев моделей и т. д. — пожалуйста, укажите ссылки в вашем заявлении
• Глубокое понимание того, что означает «хороший бенчмарк» и что делает его реалистичным, надежным и полезным
• Опыт работы со средами и оценками
• Любознательность и способность по-настоящему понимать, как работают рабочие процессы в различных областях

Сильные кандидаты также могут:

• Быть внимательными к деталям и способными выявлять тонкие несоответствия или крайние случаи в задачах
• Уметь рассуждать от первых принципов о дизайне задач, оценке и режимах сбоев
• Преуспевать в неструктурированных проблемных областях
• Опыт работы на ранних стадиях стартапа с возможностью работать самостоятельно в быстро меняющейся среде
• Сильные коммуникативные навыки для удаленного сотрудничества в различных часовых поясах

Мы отдаем приоритет техническим способностям и потенциалу к обучению, а не годам опыта. Мотивированные кандидаты могут подавать заявку, даже если они не соответствуют всем критериям.

КОМАНДА И ДЕТАЛИ КОМПАНИИ

• Размер команды: около 25 человек в настоящее время, в основном полный рабочий день очно, но некоторые удаленно
• Наша команда: в нашей команде 4 призера Международной олимпиады (IOI, ILO, IPhO), бывший игрок в Catan №1 в мире, серийные основатели ИИ-стартапов и исследователи с публикациями на ICLR, NeurIPS и т. д.
• Стадия компании: у нас 8-значное финансирование, и мы прибыльно и быстро масштабируемся для удовлетворения очень высокого спроса

Вознаграждение: $100K - $230K в год

• Занятость: полная

• Местоположение: у нас есть офисы в Сан-Франциско или Сингапуре, но мы открыты для удаленных кандидатов, которые могут работать в часы, совпадающие на 70-80% с часовыми поясами Сан-Франциско или Сингапура

• Визовая поддержка: мы предоставляем поддержку для переезда и виз для сильных кандидатов на полный рабочий день в США или Сингапур

• Конкурентоспособное вознаграждение

• 100% покрытие медицинского, стоматологического и офтальмологического страхования высшего класса (сотрудники в США и Сингапуре)

• Обед и ужин для сотрудников офиса

• Общекорпоративный праздничный перерыв (с Сочельника до Нового года) в дополнение к PTO и оплачиваемым праздникам

• 401k с 4% матчингом

• Другие льготы, включая членство в Equinox и льготы на проезд (сотрудники в США), а также стипендию на здоровье/благополучие (сотрудники в Сингапуре)

• Неограниченный* доступ к токенам для ChatGPT, Claude Code, Cursor и т. д. *Под неограниченным понимается, что никто в нашей таблице лидеров по использованию токенов никогда не достигал лимита. Поэтому мы не знаем, каков лимит

• Два офиса на верхних этажах в Union Square (Сан-Франциско) и Raffles Place (Сингапур)

• Ежегодный бюджет на поездки для посещения любого из офисов

ВОЗНАГРАЖДЕНИЕ

Фактические предложения корректируются в зависимости от опыта и местоположения, но наши базовые диапазоны заработной платы:

• Сан-Франциско (и другие крупные города США): $135 000 - $230 000
• Сингапур: $100 000 - $175 000
• Остальной мир: $100 000 - $175 000