Senior Data Scientist AI Evaluation

Название: Старший специалист по оценке ИИ в области науки о данных Компания: Alpaca Местоположение: Удаленно - Северная Америка / Удаленно - Америка

Кто мы: Alpaca — это американская компания, мировой лидер в области инфраструктуры брокерских услуг нового поколения для акций, ETF, опционов, криптовалют, фиксированного дохода, круглосуточной торговли 24/5 и многого другого. Среди наших дочерних компаний Alpaca является лицензированной компанией, предоставляющей финансовые услуги, которая обслуживает сотни финансовых учреждений в 40 странах с помощью наших API институционального уровня. К ним относятся брокерские компании, инвестиционные консультанты, менеджеры по управлению активами, хедж-фонды и криптобиржи, насчитывающие более 10 миллионов брокерских счетов. Наша глобальная команда — это разнообразная группа опытных инженеров, трейдеров и специалистов по брокерским услугам, которые работают над достижением нашей миссии по открытию доступа к финансовым услугам для всех на планете. Мы глубоко привержены внесению вклада в разработку программного обеспечения с открытым исходным кодом и развитию активного сообщества, постоянно совершенствуя наш отмеченный наградами, удобный для разработчиков API и надежную инфраструктуру, стоящую за ним. Alpaca с гордостью обеспечена финансированием в размере 400 миллионов долларов от ведущих мировых инвесторов, включая Portage Ventures, Spark Capital, Tribe Capital, Social Leverage, Horizons Ventures, Opera Tech Ventures, SBI Group, Derayah Financial, Unbound, Peak XV, Elefund и Y Combinator.

Члены нашей команды: Мы — динамичная команда из более чем 400 сотрудников, распределенных по всему миру, которые любят работать из любимых мест по всему миру, а наши коллеги находятся в США, Канаде, Японии, Венгрии, Нигерии, Бразилии, Великобритании и за их пределами! Мы ищем увлеченных людей, желающих внести свой вклад в быстрый рост Alpaca. Если вы разделяете наши основные ценности — Оставайтесь любознательными, Проявляйте эмпатию и Будьте ответственными — и готовы оказать значительное влияние, мы призываем вас подать заявку.

Ваша роль: Мы ищем старшего специалиста по оценке ИИ в области науки о данных, который будет разрабатывать методы оценки того, насколько наши модели и агенты действительно правы. Вы будете ведущим индивидуальным вкладчиком, который превращает неоднозначные вопросы качества в эталонные данные, методы оценки и циклы оценки, которым может доверять компания, и использует эти результаты для улучшения систем. Вы будете опираться на существующую базу данных, поэтому основное внимание будет уделяться повышению качества и ускорению безопасного внедрения. Вы будете отвечать за планку качества, независимо от команд, которые разрабатывают и оптимизируют эти системы.

Эта роль для того, кто так же заботится о том, правильный ли ответ, как и о том, может ли модель его сгенерировать. Вы будете сотрудничать с отделами продукта, инженерии, аналитической инженерии и бизнес-стейкхолдерами, чтобы определить, что такое «хорошо», построить системы оценки, которые это проверяют, и замкнуть цикл, чтобы оценки способствовали итерациям. Если у вас сильная количественная подготовка, вы создавали строгие, измеримые работы (оценка, экспериментирование или валидация моделей) и хотите получить контроль над новой практикой оценки в быстрорастущей компании, занимающейся брокерской инфраструктурой, эта роль для вас.

Что вы будете делать: Разрабатывать системы оценки ИИ: определять эталонные данные, метрики и методы оценки для моделей и агентов. Создавать повторяемые циклы оценки: отслеживать качество с течением времени и выявлять регрессии перед выпуском. Сотрудничать по инфраструктуре: работать с инженерами и аналитическими инженерами для операционализации конвейеров оценки. Стимулировать итерации: преобразовывать результаты оценки в действенные рекомендации по улучшению системы. Устанавливать стандарты качества: устанавливать руководящие принципы оценки, документацию и практики обзора. Менторство и согласование: содействовать лучшим практикам оценки и формировать культуру измеримого качества ИИ в команде.

Кого мы ищем: Подтвержденный опыт строгого количественного измерения (например, оценка LLM/моделей, валидация метрик или экспериментирование). Прочная основа в статистике и машинном обучении — вы относитесь к оценкам как к экспериментам (размер выборки, доверительные интервалы, статистическая значимость, обработка недетерминированности) и валидируете автоматические оценщики по сравнению с человеческими эталонными данными. Владение Python и SQL, а также опыт оценки моделей в производственных средах. Отличное суждение при определении метрик качества и эталонных данных для неоднозначных выходных данных. Отличные коммуникативные навыки и навыки междисциплинарного сотрудничества для согласования технических команд и руководства. Сильная способность решать проблемы в быстро развивающихся, новых средах. 6–10 лет опыта в количественной науке о данных или машинном обучении, с упором на измерение или оценку. Квантификационное образование является плюсом; эквивалентный опыт работы в отрасли приветствуется.

Желательно: Практический опыт оценки LLM/агентов в производстве, включая конвейеры оценки, калибровку LLM-as-judge и CI regression gates. Опыт оценки Text-to-SQL, аналитических агентов или других систем, где корректность может быть проверена по данным. Опыт работы в финтехе, брокерских услугах или других областях, где неправильный ответ влечет за собой реальные бизнес-последствия или риски. Свободное владение инструментами ИИ в исследовательских и инженерных рабочих процессах.

Как мы заботимся о вас: Конкурентоспособная заработная плата и опционы на акции Медицинское страхование Оборудование для домашнего офиса для новых сотрудников: единовременная выплата в размере 500 долларов США Ежемесячная стипендия: 150 долларов США в месяц через карту Brex Alpaca гордится тем, что является работодателем, предоставляющим равные возможности, и стремится к привлечению разнообразного состава сотрудников. Политика конфиденциальности при найме