Используем cookie для работы сайта и статистики. «Хорошо» разрешит ещё и запись сессий.
IIrregular
Тель-Авив, Израиль5 месяцев назад
Формат работы
Офис
Уровень английского
B2, выше среднего
Письмо на почту или сообщение рекрутеру в Telegram
Irregular — это первая лаборатория по обеспечению безопасности на передовых рубежах, миссия которой — защита мира в эпоху все более мощных и изощренных систем ИИ. Мы создаем системы защиты нового поколения с помощью высокоточных исследовательских платформ, которые моделируют и отслеживают реальные сценарии безопасности ИИ.
Поскольку системы ИИ становятся все более мощными, мы сосредоточены на опережении возникающих угроз и уязвимостей, гарантируя, что эти преобразующие технологии могут быть развернуты безопасно и надежно.
В качестве инженера-исследователя в Irregular вы будете на переднем крае создания систем для оценки и защиты передовых моделей ИИ.
Вы будете работать над инфраструктурой и экспериментами для оценки возможностей моделей, реализации фреймворков агентов и разработки мер по смягчению последствий для передовых систем ИИ. Ваша роль будет включать создание надежных конвейеров оценки, разработку фреймворков тестирования, ориентированных на безопасность, и создание инструментов, которые помогают понять и смягчить риски, связанные с передовыми моделями. У вас будет возможность понять исследовательский контекст и влияние вашего кода, а также внести значимый вклад в растущую команду.
Примерные проекты:
Создание инструмента для непрерывной оценки моделей и снижения их рисков. От проектирования API для передовых лабораторий до создания инструментов анализа и визуализации, обобщающих более 10 000 транскриптов в конкретные выводы
Проектирование и создание задач, измеряющих способность модели избегать обнаружения, позволяя нам увидеть, могут ли модели работать на удаленных системах, избегая при этом обнаружения распространенными инструментами защиты
Разработка фреймворков контролируемой среды для более безопасного использования передовых моделей
Проектирование и создание агентов, которые улучшают способность модели выполнять сложные задачи. Включает множество потенциальных направлений, таких как включение современных практик составления подсказок, создание инструментов для делегирования задач и многое другое
Публикация ваших исследований и/или предоставление исследований нашим клиентам
Вы можете подойти, если:
Обладаете сильными навыками и опытом в области продакшн-программирования
Обладаете сильными навыками решения проблем и аналитическими навыками
Хорошо работаете в междисциплинарной команде и можете адаптироваться к быстро меняющимся задачам
Заинтересованы в ИИ и кибербезопасности (опыт в области машинного обучения или кибербезопасности является плюсом, но не обязателен)
Вас волнуют социальные последствия вашей работы
About Irregular Irregular is the first frontier security lab with the mission of protecting the world in the time of increasingly capable and sophisticated AI systems. We build next-generation defenses through high-fidelity research platforms that simulate and monitor real-world AI security scenarios.
As AI systems become more powerful, we focus on staying ahead of emerging threats and vulnerabilities, ensuring these transformative technologies can be deployed safely and securely.
About the Role
As a research engineer at Irregular, you'll be at the forefront of building systems to evaluate and secure frontier AI models. You'll work on infrastructure and experiments to assess model capabilities, implement agent frameworks, and develop mitigations for advanced AI systems. Your role will involve creating robust evaluation pipelines, developing security-focused testing frameworks, and building tools that help understand and mitigate risks related to frontier models. You’ll have a chance to understand the research context and your code’s impact and contribute as a meaningful part of a growing team.
Representative projects:
Building a tool to continuously evaluate models and mitigate their risks. From designing the APIs for frontier labs, to building analysis and visualization tools that summarize 10,000+ transcripts into specific conclusions.
Designing and building challenges that measure a model’s ability to evade discovery, allowing us to see if models can operate on remote systems while avoiding detection by common defensive security tools.
Developing controlled environment frameworks for more secure use of frontier models.
Designing and building agents that improve a model’s ability to complete complex tasks. Includes many potential avenues, such as incorporating SOTA prompting practices, creating tools for task delegation, and more.
Publishing your research and/or delivering research to our customers.
You may be a good fit if you:
Have strong production programming skills and experience.
Have strong problem-solving and analytical skills.
Work well in a multidisciplinary team and can adapt to rapidly evolving challenges.
Are interested in AI and cybersecurity (experience in machine learning or cybersecurity is a plus but not necessary).
Care about the societal impacts of your work.
Сравним навыки, грейд, формат работы и зарплату
Чаще всего от 31 500 до 39 400
