AI Security Engineer (Agentic Systems)

Название: AI Security Engineer (Agentic Systems) Местоположение: нет / Лондон / Великобритания

О нас: ClearRoute — это инженерно-консалтинговая компания, объединяющая Quality Engineering, Cloud Platforms и Developer Experience. Мы помогаем предприятиям быстрее, дешевле и безопаснее выводить на рынок высокоэффективные цифровые продукты, работая с технологическими лидерами, сталкивающимися со сложными бизнес-задачами. Мы гордимся нашими сотрудниками, культурой и балансом между работой и личной жизнью так же, как и созданием лучшего программного обеспечения. Мы не просто создаем лучшее ПО. Мы делаем процесс создания ПО лучше. Мы подходим к работе коллаборативно, предпринимательски и ориентированы на решение проблем, обеспечивая тот качественный скачок, который необходим нашим клиентам для поддержания инноваций. Наши ценности побуждают нас делать все возможное для ClearRoute, наших клиентов и, самое главное, нашей команды. Это возможность построить организацию с нуля, использовать свой голос для внесения изменений и помочь трансформировать организации и предметные области.

Роль

Эта роль отличается от наших традиционных позиций инженера по облачной безопасности: она сосредоточена на ИИ и агентых системах, а не только на инфраструктуре. Вы будете тестировать и обеспечивать безопасность сценариев использования ИИ в рамках учетной записи, а не одного приложения или набора пользователей, получая широкое, непосредственное представление о том, как ClearRoute должна подходить к тестированию, управлению рисками и регулированию для агентого ИИ. Вы будете работать с командами, а не в рамках одного потока реализации, отвечая за определение того, что представляет собой «хорошая» практика в области тестирования безопасности агентов в рамках всей учетной записи, и помогая ClearRoute построить воспроизводимый, обоснованный подход, который могут принять другие проекты. На начальном этапе роль сознательно предполагает практический подход: вы будете самостоятельно внедрять и проводить тестирование, чтобы понять детали, прежде чем просить кого-либо другого следовать этому. По мере развития этой практики роль смещается в сторону управления в рамках всей учетной записи, обучения и повышения квалификации существующих инженеров по безопасности для самостоятельного внедрения и автоматизации стратегии, чтобы тестирование безопасности агентов стало чем-то, что может выполнять вся команда, а не зависеть от одного человека.

Ключевые обязанности

Агентный Red Teaming и Атаки:

• Разрабатывать и проводить упражнения red team против ИИ-агентов и рабочих процессов агентов, выявляя уязвимости к инъекциям запросов (прямым и косвенным), манипуляциям вызовами инструментов и аргументами, угону агентов, отравлению памяти/контекста и повышению привилегий или учетных данных.
• Создавать воспроизводимые подходы к оценке недетерминированных систем, включая тестирование, измерение и отчетность по результатам, которые варьируются от запуска к запуску.
• Определять и владеть подходом к обнаружению, измерению и смягчению галлюцинаций в выходных данных агентов и LLM, отличным от традиционных методов функционального тестирования.

Агентное управление и управление рисками:

• Отвечать за идентификацию и управление рисками агентого ИИ в рамках учетной записи, а не одного приложения: создавать представление рисков, стратегию тестирования и рекомендации по инструментам, которые могут использовать другие команды.
• Сопоставлять результаты и средства контроля с признанными внешними фреймворками (например, таксономией рисков для агентов OWASP, функцией управления NIST AI Risk Management Framework и MITRE ATLAS), чтобы подход ClearRoute был обоснованным и поддающимся аудиту.
• Различать и проектировать средства контроля для внутренних и внешних (ориентированных на клиентов) представлений поведения агентов, включая то, как выходные данные просматриваются, очищаются или фильтруются перед выпуском.
• Определять процедуры отката и реагирования на инциденты для агентых систем, чтобы скомпрометированный или неправильно работающий агент мог быть безопасно отозван или отменен.
• Отслеживать развивающиеся нормативные ожидания, связанные с тестированием ИИ (например, положения EU AI Act о тестировании на устойчивость и испытаниях с использованием методов adversarial), и преобразовывать их в практические требования к тестированию и управлению.

Межкомандный и организационный охват:

• Работать с командами реализации и учетными записями, выступая в качестве связующего звена по тестированию безопасности агентов, а не быть встроенным в одно приложение или команду.
• Рекомендовать и помогать в выборе инструментов для тестирования и мониторинга безопасности агентов, а также консультировать команды реализации по их интеграции в рабочий процесс.
• Представлять позицию ClearRoute в области безопасности агентов как внутренним заинтересованным сторонам, так и, при необходимости, клиентам.
• Обучать и повышать квалификацию существующих инженеров по безопасности с течением времени, чтобы тестирование и автоматизация агентов стали возможностью, которой владеет вся команда, а не один специалист.

Требуемые навыки и опыт

Обязательно:

• Практический опыт red teaming или adversarial testing LLM или агентых систем ИИ, включая сценарии инъекций запросов, джейлбрейка и злоупотребления инструментами.
• Практическое понимание того, как тестировать недетерминированные системы, как обнаруживать, количественно оценивать и смягчать галлюцинации.
• Рабочее знание специфических для агентого ИИ фреймворков управления рисками и таксономий, таких как категории рисков агентов OWASP и MITRE ATLAS.
• Опыт работы с OWASP Top 10 для LLM Applications, включая категории рисков инъекций запросов и утечки системного промпта.
• Опыт разработки или применения фреймворка управления ИИ (например, NIST AI Risk Management Framework) для преобразования выявленных рисков в организационные средства контроля.
• Способность работать в разных учетных записях и командах, создавая стратегию тестирования и рекомендации по инструментам, которые обобщаются за пределами одного приложения.
• Опыт моделирования угроз и обзора безопасности.
• Сильные коммуникативные навыки, способность четко объяснять риски агентого ИИ техническим и нетехническим заинтересованным сторонам, в том числе о том, что следует и не следует выпускать клиентам.
• Комфорт в первую очередь практического применения — самостоятельное внедрение и проведение тестов безопасности агентов — а затем наставничество и обучение других инженеров по безопасности, чтобы они переняли эту практику.

Желательно:

• Знакомство с инструментами для угона агентов или специфическими для агентов инструментами оценки (например, бенчмарками безопасности агентов с открытым исходным кодом).
• Осведомленность о зарождающемся регулировании ИИ, связанном с тестированием безопасности, таком как требования EU AI Act к тестированию на устойчивость и испытаниям с использованием методов adversarial.
• Опыт работы с мультиагентными системами или системами сетей агентов, а также проблемы доверия/аутентификации между агентами.
• Опыт в облачной безопасности (предпочтительно Azure) и знание Terraform и CI/CD.
• Опыт работы в регулируемом секторе (например, финансовых услугах).

Работа в ClearRoute

Мы выросли от шести основателей до более чем 200 человек в пяти странах за три года, и отличает нас не темп, а способ роста. Реальная гибкость на практике. Мы доверяем вам работать наилучшим образом и при этом иметь жизнь вне работы, с подлинным гибридным графиком, бюджетом на домашний офис, культурой открытой обратной связи, где ваш голос формирует решения, и временем отдыха, когда жизнь этого требует (включая выходной на день рождения). Когда ClearRoute выигрывает, вы выигрываете. Мы предлагаем участие в прибыли, чтобы успех был общим, значимое признание за отличную работу и льготы, которые заботятся о вас и вашей семье, включая частное медицинское страхование, конкурентное сравнение заработной платы и конфиденциальную программу помощи сотрудникам, охватывающую консультирование, поддержку психического здоровья и финансовое благополучие. Сообщество, частью которого вы действительно захотите быть. Сообщества по интересам, такие как беговые и книжные клубы, группа Women in Tech, ежемесячные мероприятия и межрегиональные мероприятия объединяют людей по всей компании. Инклюзивная, коллаборативная культура, где вам не нужно соответствовать, чтобы преуспеть, где люди поддерживают друг друга и чувствуют себя комфортно, будучи собой. Где значимая работа встречается с реальным ростом. Вы будете решать сложные, реальные проблемы на переднем крае платформенной инженерии, ИИ, безопасности и масштабируемых систем. Ваш рост поддерживается бюджетами на обучение, доступом к Udemy, четкой карьерной структурой, внутренней мобильностью и возможностями для лидерства мнений, которые расширяют ваше влияние за пределы ClearRoute. В ClearRoute мы верим, что разнообразные точки зрения приводят к лучшим результатам, а инклюзивность создает условия для процветания всех. Мы гордимся тем, что создали семейную рабочую среду, и у нас много сотрудников, которые заботятся о своей семье наряду с работой. Мы приветствуем заявки от людей, которым требуется гибкость, и будем рады обсудить потребности в индивидуальном порядке. Мы стремимся развивать культуру, в которой все члены команды чувствуют уважение, поддержку и имеют возможность наилучшим образом выполнять свою работу. Мы отмечаем индивидуальность и наши различия и понимаем, что некоторые различия могут означать, что вам потребуются изменения в процессе собеседования. Мы будем рады учесть ваши потребности, чтобы сделать собеседование доступным, если вам это необходимо, пожалуйста, сообщите нам, написав по адресу контакт рекрутера