AI Engineer - Data and Evals

Местоположение: Маунтин-Вью, Калифорния / Сан-Франциско Бэй Ареа

О Glean

Glean — это платформа Work AI, которая помогает всем работать умнее с помощью ИИ. То, что начиналось как самый продвинутый в отрасли корпоративный поиск, превратилось в полномасштабную экосистему Work AI, объединяющую интеллектуальный поиск, ИИ-ассистента и масштабируемых ИИ-агентов на одной безопасной, открытой платформе. Благодаря более чем 100 корпоративным коннекторам SaaS, гибкому выбору LLM и надежным API, Glean предоставляет организациям инфраструктуру для управления, масштабирования и настройки ИИ во всем бизнесе — без привязки к поставщику или дорогостоящих циклов внедрения.

По сути, Glean переопределяет, как предприятия находят, используют и действуют на основе знаний. Его Enterprise Graph и Personal Knowledge Graph отображают взаимосвязи между людьми, контентом и активностью, предоставляя каждому сотруднику глубоко персонализированные, контекстно-зависимые ответы. Эта основа обеспечивает агентные возможности Glean — ИИ-агентов, которые автоматизируют реальную работу команд, получая доступ к самому широкому спектру данных в отрасли: корпоративных и мировых, структурированных и неструктурированных, исторических и в реальном времени. Результат: измеримое бизнес-влияние благодаря более быстрому онбордингу, ежеминутной экономии рабочего времени каждую неделю и более умным, безопасным решениям на каждом уровне.

Признанная Fast Company одной из самых инновационных компаний мира (Топ-10, 2025), CNBC’s Disruptor 50, Bloomberg’s AI Startups to Watch (2026), Forbes AI 50 и Gartner’s Tech Innovators in Agentic AI, Glean продолжает ускорять свое глобальное влияние. Имея клиентов в более чем 50 отраслях и более 1000 сотрудников в более чем 25 странах, мы помогаем крупнейшим организациям мира сделать каждого сотрудника владеющим ИИ и превращаем сверхинтеллектуальное предприятие из концепции в реальность.

Если вы хотите изменить то, как работает мир, вы поможете создавать системы, используемые ежедневно в Microsoft Teams, Zoom, ServiceNow, Zendesk, GitHub и многих других. Вы будете глубоко интегрированы туда, где люди делают свою работу. Вы будете внедрять агентные возможности на открытом, расширяемом стеке, с мастерством и заботой, необходимыми для корпоративного доверия, по мере того, как мы принесем Work AI каждому сотруднику каждой компании.

О роли

Узким местом в создании надежного, полезного ИИ является уже не написание кода. Это определение того, что такое «хорошо», и измерение того, насколько хорошо наши продукты это обеспечивают. Для этого нужны высококачественные данные и оценки, которым команды могут доверять.

Наша команда отвечает за науку о данных и оценке продуктов ИИ Glean. Мы создаем наборы оценок (evalsets), LLM-судьи для агентов и бенчмарки, которые определяют, что такое «хорошо», а также платформу и инфраструктуру, которые надежно проводят оценки в масштабе, и корпоративные симуляционные среды, где мы тестируем, как наши ассистенты и агенты фактически работают. Начиная с реального использования в продакшене, вы превратите полученные знания в оценки, которые будут направлять улучшения по всему стеку, от фреймворков для агентов до использования инструментов, итерации навыков, маршрутизации моделей и пост-тренировки специализированных моделей.

Вы будете внедрять новые исследования в продакшен и сотрудничать с R&D, продуктовыми командами и GTM, чтобы превращать результаты оценок в лучшие продукты и результаты для клиентов. Если вы заботитесь о качестве и хотите создавать системы, которые его измеряют, эта роль для вас.

Вам предстоит

• Создавать наборы оценок (evalsets) и бенчмарки из примеров, отобранных экспертами, данных продакшена, синтетических данных и прошлых неудач, охватывающих крайние случаи и ключевые срезы пользователей.
• Создавать и масштабировать платформу оценки и наблюдаемость агентов: конвейеры экспериментов, захват и воспроизведение трассировок, а также дашборды с воспроизводимыми, доступными по цене запусками.
• Создавать LLM-верификаторы для агентов для проверки корректности, обоснованности, качества цитирования и успешности выполнения задач, а также калибровать их по человеческим меткам с использованием четких правил.
• Проводить оценки на каждом этапе, от CI и наборов перед выпуском до выборки трафика в продакшене, и сообщать результаты с доверительными интервалами.
• Создавать корпоративные симуляционные среды с симулированными пользователями и реалистичными данными компании для тестирования многоэтапных задач агентов.
• Диагностировать сбои по срезам и трассировкам, а также преобразовывать результаты оценок в конкретные исправления, взвешивая качество против задержки и стоимости.

О вас

• Более 5 лет опыта разработки программного обеспечения с сильными знаниями Go и/или Python и основ бэкенда: API, моделирование данных, тестирование и распределенные конвейеры. TypeScript — плюс.
• Опыт создания наборов данных и бенчмарков для сценариев использования LLM, RAG или агентов, включая подбор evalsets и генерацию синтетических данных.
• Знакомство с методологиями оценки и их компромиссами: детерминированные метрики, LLM-как-судья, попарная или точечная оценка, человеческое маркирование и калибровка судей.
• Опыт создания надежной в масштабе инфраструктуры оценки или экспериментов, включая интеграции CI/CD и инструменты наблюдаемости, такие как OpenTelemetry.
• Сильные аналитические навыки: вы углубляетесь в трассировки и случаи сбоев, пишете SQL и используете данные и метрики, чтобы объяснить, почему изменилось качество.
• Желательно: опыт работы с симуляционными средами и/или методами пост-тренировки моделей.

Местоположение

Эта должность предполагает гибридный формат работы (4 дня в неделю в нашем офисе в Маунтин-Вью или Сан-Франциско).

Компенсация и льготы

Стандартный диапазон базовой заработной платы для этой должности составляет $200 000 - $280 000 в год. Предлагаемая компенсация будет определяться такими факторами, как местоположение, уровень, знания, навыки и опыт, связанные с работой. Некоторые должности могут иметь право на переменную компенсацию, опционы и льготы.

Мы предлагаем комплексный пакет льгот, включая конкурентоспособную компенсацию, медицинское страхование (Medical, Vision, Dental), щедрую политику отпусков и возможность внести взносы в ваш пенсионный план 401k для поддержки ваших долгосрочных целей. Присоединившись к нам, вы получите субсидию на обустройство домашнего офиса, а также ежегодные субсидии на образование и оздоровление для поддержки вашего роста и благополучия. Мы способствуем развитию яркой корпоративной культуры посредством регулярных мероприятий и ежедневно предоставляем здоровые обеды, чтобы поддерживать вас в форме и сосредоточенности.

Мы стремимся создавать и поддерживать разнообразное, инклюзивное рабочее место. Мы стремимся привлекать и удерживать людей с широким спектром происхождения, опыта и взглядов, и мы не дискриминируем по признаку пола, этнической принадлежности, сексуальной ориентации, религии, гражданского или семейного положения, возраста, инвалидности или расы.

AI-First Mindset в Glean

В Glean владение ИИ является основой нашей работы, и мы стремимся к тому, чтобы каждый новый сотрудник чувствовал себя уверенно, интегрируя ИИ в свою повседневную работу. В рамках процесса собеседования вы выполните краткое задание или обсуждение, посвященное ИИ, чтобы мы могли понять, как вы думаете, проектируете и используете ИИ для достижения результатов в вашей роли. Не стесняйтесь ссылаться на любые инструменты, платформы или рабочие процессы, которые вы используете сегодня — предыдущий опыт работы в Glean не требуется.