Evaluations Team Lead

Должность: Руководитель группы оценки Местоположение: Европа / Израиль (удаленно) / Удаленно

О FUNDAMENTAL

Fundamental — это лаборатория исследований в области искусственного интеллекта, которая является пионером в создании будущего для принятия корпоративных решений. Наша флагманская модель NEXUS — это самая мощная в мире большая табличная модель (LTM), специально разработанная для структурированных записей, содержащих триллионы долларов бизнес-ценности. Имея $275 млн финансирования от ведущих инвесторов и пользуясь доверием компаний из списка Fortune 100, Fundamental дает бизнесу возможность прогнозировать.

В Fundamental вы будете работать над беспрецедентными техническими задачами в области разработки фундаментальных моделей и создавать технологии, которые трансформируют способы принятия решений крупнейшими компаниями мира. Это ваша возможность стать частью компании, определяющей категорию, с самого начала. Присоединяйтесь к команде, определяющей будущее корпоративного ИИ.

О РОЛИ

NEXUS уже находится в эксплуатации, и мы работаем над существенным улучшением его качества прогнозирования, задержки и экономической эффективности. Вы возглавите команду, которая отвечает за измерение NEXUS, создавая общую платформу оценки, на которую полагаются инжиниринг, исследования и прикладной ИИ: согласованные эталонные тесты, кураторские наборы данных и стандарты для метрик, разделения данных, предотвращения утечек и загрязнения эталонных тестов, которые выдерживают проверку.

Исследователи должны доверять результатам, прежде чем вкладывать в них вычислительные ресурсы, инженеры должны выявлять регрессии до того, как они попадут в производство, а когда команда специалистов по данным клиента сравнивает NEXUS со своими собственными моделями, ваша платформа — это то, на что полагается прикладной ИИ. Вы будете сравнивать NEXUS с конкурирующими подходами, используя справедливые бюджеты на настройку, доступ к данным и протоколы измерения задержки, а также превращать полученные результаты в приоритеты исследований и рекомендации по выпуску.

Это роль «игрока-тренера»: вы будете нанимать и управлять небольшой командой, оставаясь при этом вовлеченным в код, проектирование экспериментов и саму методологию. Здесь нет готовой функции оценки, которую можно было бы унаследовать — то, что вы создадите, станет стандартом, по которому остальная часть компании будет измерять NEXUS.

КЛЮЧЕВЫЕ ОБЯЗАННОСТИ

• Создание общей платформы оценки для инжиниринга, исследований и прикладного ИИ. Постоянное добавление и поддержка моделей и кураторских наборов данных, чтобы команды могли самостоятельно запускать эталонные тесты и анализировать результаты.

• Определение стандартов оценки для метрик, разделения данных, предотвращения утечек, калибровки, неопределенности и загрязнения эталонных тестов.

• Создание воспроизводимых конвейеров с версионированными входными данными и артефактами, а также интеграция проверок регрессии в рабочие процессы исследований и выпуска.

• Сравнение NEXUS с конкурирующими подходами с использованием справедливых бюджетов на настройку, доступа к данным, вычислительных ресурсов и протоколов измерения задержки.

• Поддержка оценок POC (Proof of Concept) для клиентов в области прикладного ИИ с помощью инструментов, методологического руководства и анализа.

• Измерение качества прогнозирования, задержки и стоимости в различных конфигурациях развертывания, типах задач и характеристиках наборов данных.

• Преобразование результатов в приоритеты исследований, рекомендации по выпуску и планы улучшения клиентов, основанные на данных.

• Наем и развитие команды, определение приоритетов и сохранение вовлеченности в код и проектирование экспериментов.

О РОЛИ

• Опыт владения оценкой табличных ML-систем, используемых в производстве или для принятия ответственных клиентских решений.

• Сильное статистическое суждение: выбор метрик и схем валидации, оценка неопределенности, сравнение моделей на разных наборах данных и учет повторных экспериментов.

• Практический опыт выявления утечек в предварительной обработке, построении признаков, объединении данных, временных зависимостях и связанных сущностях между разделами.

• Отличные навыки работы с Python и SQL, знакомство с scikit-learn и градиентно-бустинговыми деревьями, а также опыт создания надежных ML-инструментов или платформ, используемых другими командами.

• Опыт проектирования справедливых сравнений моделей, включая поиск гиперпараметров, бюджеты ресурсов и комплексное измерение задержки.

• Опыт управления людьми, включая найм, техническое обучение и обратную связь по производительности, при сохранении технической вовлеченности.

• Четкая письменная и устная коммуникация с исследователями, инженерами и специалистами по данным клиентов, включая готовность оспаривать утверждения, которые не подтверждаются доказательствами.

ПРИЯТНО ИМЕТЬ

• Опыт оценки табличных фундаментальных моделей или систем AutoML.

• Опыт измерения того, как оптимизация модели влияет на качество прогнозирования и производительность вывода.

• Опыт работы с реляционными или многотабличными данными, а также со средами Snowflake или Databricks.

• Опыт оценки автоматизированных или управляемых агентами ML-рабочих процессов, включая сбои, которые могут скрываться за агрегированными метриками.

ПРЕИМУЩЕСТВА

• Конкурентоспособная компенсация с заработной платой и акциями

• Комплексное медицинское страхование для вас и ваших иждивенцев

• Оплачиваемый отпуск по уходу за ребенком для всех новых родителей, включая усыновленных и суррогатных детей

• Помощь в переезде для сотрудников, переезжающих для присоединения к команде в одном из наших офисов

• Миссионерская культура с низким эго, ценящая разнообразие мнений, ответственность и ориентацию на действия