Tech Lead Manager, AI Evaluations

Должность: Tech Lead Manager, AI Evaluations Местоположение: Маунтин-Вью, Калифорния / Сан-Франциско, Калифорния / Маунтин-Вью, Калифорния; Сан-Франциско, Калифорния

О Glean: Glean — это платформа Work AI, которая помогает всем работать умнее с помощью ИИ. То, что начиналось как самый продвинутый корпоративный поиск в отрасли, превратилось в полномасштабную экосистему Work AI, обеспечивающую работу интеллектуального поиска, AI-ассистента и масштабируемых AI-агентов на одной безопасной, открытой платформе. Имея более 100 корпоративных коннекторов SaaS, гибкий выбор LLM и надежные API, Glean предоставляет организациям инфраструктуру для управления, масштабирования и настройки ИИ во всем бизнесе — без привязки к поставщику или дорогостоящих циклов внедрения.

По сути, Glean переосмысливает, как предприятия находят, используют и действуют на основе знаний. Его Enterprise Graph и Personal Knowledge Graph составляют взаимосвязи между людьми, контентом и активностью, предоставляя глубоко персонализированные, контекстно-зависимые ответы для каждого сотрудника. Эта основа обеспечивает агентурные возможности Glean — AI-агентов, которые автоматизируют реальную работу между командами, получая доступ к широчайшему спектру данных в отрасли: корпоративных и мировых, структурированных и неструктурированных, исторических и в реальном времени. Результат: измеримое бизнес-воздействие за счет более быстрого ввода в должность, еженедельной экономии часов производительности и принятия более разумных и безопасных решений на каждом уровне.

Признанный Fast Company одной из самых инновационных компаний мира (Топ-10, 2025), CNBC’s Disruptor 50, Bloomberg’s AI Startups to Watch (2026), Forbes AI 50 и Gartner’s Tech Innovators in Agentic AI, Glean продолжает ускорять свое глобальное влияние. С клиентами в более чем 50 отраслях и более чем 1000 сотрудников в более чем 25 странах мы помогаем крупнейшим мировым организациям сделать каждого сотрудника владеющим ИИ и превращаем сверхинтеллектуальное предприятие из концепции в реальность.

Если вы готовы изменить то, как работает мир, вы поможете создавать системы, которые ежедневно используются в Microsoft Teams, Zoom, ServiceNow, Zendesk, GitHub и многих других. Вы будете глубоко интегрированы туда, где люди делают свою работу. Вы будете внедрять агентурные возможности на открытом, расширяемом стеке, с мастерством и заботой, необходимыми для обеспечения доверия предприятия, поскольку мы приносим Work AI каждому сотруднику в каждой компании.

О роли: Понастоящему надежные и полезные системы ИИ — это уже не написание кода. Важно знать, как выглядит «хорошо», применять эти знания и опыт из производственного использования для создания строгих оценок, а также использовать эти оценки для управления циклами непрерывного самосовершенствования продукта.

В качестве Tech Lead Manager of AI Evaluations вы будете руководить командой прикладных специалистов по ИИ и инженеров, а также разрабатывать стратегию и платформу оценки, которые помогут Glean предоставлять превосходные и надежные решения на основе ИИ. Вы сделаете оценку непрерывной частью процесса разработки и эксплуатации моделей, конвейеров, ассистентов, агентов и других продуктов ИИ в Glean.

Вы будете руководить командой в преобразовании новейших исследований в области ИИ/МО в надежные системы оценки, создавать масштабируемую, эффективную и повторно используемую инфраструктуру оценки и доверенные сигналы качества, а также работать с командами R&D, продукт-менеджмента и маркетинга, чтобы превращать результаты оценки в лучшие продукты и результаты для клиентов.

Вы будете:

• Полностью отвечать за дорожную карту и техническое направление Eng AI evaluation: от определения значения успеха и создания платформы оценки до интеграции результатов в решения по выпуску и продукту.
• Создавать масштабируемую, повторно используемую инфраструктуру оценки для наборов данных, экспериментов, оценщиков, захвата и воспроизведения трассировок, анализа результатов и дашбордов. Сделать оценки воспроизводимыми, версионированными, экономически эффективными и простыми в использовании для продуктовых и инженерных команд.
• Создавать и поддерживать репрезентативные наборы для оценки из примеров, отобранных экспертами, соответствующих сигналов из производственных данных, синтетических случаев и исторических сбоев. Охватить распространенные рабочие процессы, крайние случаи, запросы с длинным хвостом, враждебные входные данные и важные срезы пользователей и доменов; защитить наборы для принятия решений от утечки информации во время настройки.
• Определить сбалансированную систему измерения качества продуктов ИИ, включая правильность, обоснованность, релевантность поиска и контекста, полноту, соблюдение инструкций, качество цитирования, предпочтения пользователей и успех выполнения задач. Для агентов оценивать выбор инструмента и аргументы, многоэтапные траектории, соответствие политике, восстановление и конечное состояние задачи, а не только конечный ответ.
• Разработать подходящий набор детерминированных проверок, оценщиков на основе моделей (включая автооценщики на основе LLM) и человеческой оценки. Установить четкие критерии; валидировать и калибровать автоматизированных оценщиков в соответствии с человеческими суждениями; измерять надежность и ограничения оценщиков, чтобы команды могли доверять оценкам и интерпретировать их.
• Интегрировать оценку в разработку и эксплуатацию: быстрая проверка регрессии в CI, более широкие наборы для предварительного выпуска, сравнение моделей и промптов, а также выборочная оценка в производственной среде. Создавать циклы обратной связи из отзывов пользователей и производственных трассировок в новые тестовые случаи, а также использовать мониторинг, канареечные релизы и эксперименты для обнаружения регрессий и дрейфа.
• Сделать компромиссы качества измеримыми, связывая результаты оценки с задержкой, надежностью и стоимостью. Помогать командам диагностировать сбои по срезам и трассировкам, приоритизировать улучшения и принимать обоснованные решения о моделях, маршрутизации, промптах и изменениях в системе.
• Создавать и возглавлять высокоэффективную команду прикладных специалистов по ИИ и инженеров; обучать и развивать членов команды. Тесно сотрудничать с командами по продуктам, инфраструктуре, безопасности и приложениям для согласования стандартов оценки и выполнения наиболее важных работ.

О вас:

• Более 10 лет опыта в разработке программного обеспечения, ML-инфраструктуре, системах данных или смежной технической области. Опыт должен включать создание и эксплуатацию производственных систем.
• Более 5 лет опыта управления инженерной командой или командой прикладного ИИ, с опытом технического лидерства, развития инженеров и ученых, а также реализации межфункциональных проектов.
• Практический опыт проектирования, создания или эксплуатации систем оценки для продуктов LLM/GenAI, включая оценщики на основе моделей или автооценщики; практическое понимание того, как оценивать поведение моделей, retrieval/RAG, ассистентов или агентов.
• Знакомство с методами оценки и компромиссами: наборы данных, отобранные вручную и полученные из производственной среды, создание эталонных тестов (бенчмарков), детерминированные метрики, суждения на основе критериев и попарные сравнения, человеческий обзор, валидация и калибровка оценщиков, согласование человека и модели, а также статистический анализ результатов.
• Понимание оценки агентов, включая вызов инструментов, многоходовое поведение, качество траектории, выполнение задачи и восстановление после ошибок; опыт тестирования безопасности или red teaming является плюсом.
• Сильные навыки программирования на Python или другом производственном языке, с прочными инженерными основами в тестировании, API, моделировании данных и надежных распределенных системах.
• Опыт создания масштабируемых платформ данных и платформ для разработчиков, конвейеров экспериментов или интеграций CI/CD; знакомство с облачной инфраструктурой, Kubernetes, хранилищами данных и observability является преимуществом.
• Сильное понимание качества измерений, включая репрезентативность наборов данных, калибровку оценщиков, воспроизводимость, неопределенность и риск оптимизации под узкую метрику.
• Знание общедоступных бенчмарков в различных областях и возможностей является плюсом.
• Ориентированность на продукт и способность к сотрудничеству: умение преобразовывать неоднозначные цели качества в четкие меры, сообщать о результатах технической и нетехнической аудитории и влиять на дорожные карты между командами.
• Степень магистра/доктора наук по информатике, ИИ или смежной области.

Местоположение: Эта должность предполагает гибридный формат работы (4 дня в неделю в нашем офисе в Маунтин-Вью или Сан-Франциско).

Компенсация и льготы: Стандартный диапазон базовой заработной платы для этой должности составляет от 250 000 до 350 000 долларов США в год. Предлагаемая компенсация будет определяться такими факторами, как местоположение, уровень, знания, навыки и опыт, связанные с работой. Определенные должности могут иметь право на переменную компенсацию, акции и льготы.

Мы предлагаем комплексный пакет льгот, включая конкурентоспособную компенсацию, медицинское, офтальмологическое и стоматологическое страхование, щедрую политику отпусков и возможность внести вклад в ваш пенсионный план 401k для поддержки ваших долгосрочных целей. Присоединившись к нам, вы получите стипендию на обустройство домашнего офиса, а также ежегодные стипендии на образование и оздоровление для поддержки вашего роста и благополучия. Мы способствуем яркой корпоративной культуре посредством регулярных мероприятий и ежедневно предоставляем здоровые обеды, чтобы вы оставались энергичными и сосредоточенными.

Мы стремимся создавать и поддерживать разнообразную, инклюзивную рабочую среду. Мы стремимся привлекать и удерживать людей с широким спектром происхождения, опыта и взглядов, и мы не дискриминируем по признаку пола, этнической принадлежности, сексуальной ориентации, религии, семейного положения, возраста, инвалидности или расы.

AI-First Mindset в Glean: В Glean владение ИИ является основой нашей работы, и мы стремимся обеспечить, чтобы каждый новый сотрудник чувствовал себя уверенно, интегрируя ИИ в свою повседневную работу. В рамках процесса собеседования вы выполните краткое упражнение или обсуждение, ориентированное на ИИ, чтобы мы могли понять, как вы мыслите, разрабатываете и используете ИИ для достижения результатов в вашей роли. Не стесняйтесь упоминать любые инструменты, платформы или рабочие процессы, которые вы используете сегодня — предыдущий опыт работы в Glean не требуется.