Название: Инженер-исследователь (Evals)
Компания: White Circle
Местоположение: Париж / Лондон / Гибридный / Удаленный
Кратко: Мы ищем инженера-исследователя для создания и поддержки нашего внутреннего набора эталонных тестов, охватывающего одно- и многоходовые контент-тренды и системы защиты агентов. Инженер-исследователь также будет работать с командой над проектами по изучению поведения агентов в реальных условиях.
О нас
White Circle — компания в области безопасности ИИ, разрабатывающая уровень безопасности, надежности и оптимизации для систем ИИ. В основе нашей платформы лежат политики — простые правила на естественном языке, определяющие, что модель ИИ должна и не должна делать. Мы автоматически тестируем, обеспечиваем соблюдение и постоянно улучшаем эти политики в масштабе.
- Мы недавно привлекли финансирование серии А, доведя общий объем финансирования до 70 миллионов долларов. Среди наших инвесторов — ведущие фонды, основатели и руководители OpenAI, Anthropic, HuggingFace, Mistral, DeepMind, Datadog, Sentry и других.
- Мы обрабатываем более 100 миллионов вызовов API каждый месяц.
- Мы дообучаем и тренируем наши собственные LLM, чтобы они работали быстрее и дешевле, чем любая открытая или проприетарная модель.
Мы — небольшая, высоко сфокусированная команда. Если вы хотите глубоко заниматься сложными проблемами, видеть, как ваша работа быстро внедряется в производство, и влиять на то, как на самом деле строится безопасность ИИ — вы тот, кто нам нужен.
О команде
Фундаментальная исследовательская команда White Circle работает над наукой о том, как системы ИИ выходят из строя в реальном мире: где ломаются агенты, как выглядит несоответствие для конечного пользователя и как оно присутствует во внутренних компонентах модели. Мы создаем средства оценки, эталоны, среды и инструментарий, которые эмпирически изучают высокоэффективные проблемы надежности агентов — некоторые из них становятся системами защиты, внедряемыми в наши продукты, а некоторые — общедоступными статьями.
Чем вы будете заниматься
Владеть и поддерживать наш внутренний набор эталонных тестов, охватывающий системы защиты контента для одно- и многоходовых взаимодействий и безопасность агентов.
- Создавать эталонные тесты, которые различают конкретные возможности модели.
- Работать с командой продукта над созданием средств оценки, охватывающих основную функциональность наших флагманских моделей.
- Создавать эталонные тесты для новых функций, разрабатываемых исследовательской командой.
- Адаптировать и расширять средства оценки для новых вертикалей и меняющихся продуктовых данных.
- Работать над исследовательскими проектами, которые изучают и количественно оценивают реалистичные режимы сбоев агентов и LLM в реальных условиях.
Вы отлично подойдете, если
- Создали эталонный тест LLM с нуля, который различает конкретные возможности модели (т. е. дал измеримую, обоснованную разницу в возможностях, а не просто оценку).
- Создавали синтетические данные для текстовых или мультимодальных моделей после обучения.
- Можете воспроизвести опубликованный результат эталонного теста и определить, где исходная методология хрупка или вводит в заблуждение.
- Пишете Python, на котором могут работать другие. Весь наш стек — это Python; нам нужен человек, который внедрял и поддерживал производственный код и который разделяет грязные проблемы на чистые абстракции, которые могут расширять другие.
- Можете писать эффективные конфигурации для инференса LLM, включая разумную оркестровку параллельных вызовов, повторных попыток, обработку ограничений скорости.
- Продвинутый пользователь ИИ — свободно владеющий передовыми моделями и ежедневно работающий с кодирующими агентами.
Большой плюс
- Опыт автоматизированного red-teaming (тестирование на проникновение).
- Работали с различными фреймворками для агентов и воспроизводили на них результаты публичных эталонных тестов.
- Глубокие знания существующих эталонных тестов для моделей вознаграждения / мониторинга / безопасности.
- Одна или несколько опубликованных статей в области оценки / оценки безопасности.
Компенсация и льготы
- Конкурентная заработная плата, включая опционы.
- Гибкий график отпусков.
- Офис в центре Лондона/Парижа с гибким гибридным графиком.
- Помощь с релокацией для переезжающих в Париж, доступна после испытательного срока.
- Премиальное частное медицинское страхование.
- Поддержка психического здоровья, включая оплату терапии при необходимости.
- Обед и ужин оплачиваются при работе в офисе.
- Поддержка обучения и развития для курсов, конференций и возможностей для улучшения навыков.
- Все необходимое оборудование, подписки, инструменты и услуги.
Процесс
- Вводный звонок с Talent.
- Тестовое задание.
- Техническое собеседование с руководителем отдела фундаментальных исследований.
- Финальное собеседование с генеральным директором.
